chatglm_finetuning icon indicating copy to clipboard operation
chatglm_finetuning copied to clipboard

显示可训练参数数量问题

Open xxll88 opened this issue 2 years ago • 0 comments

用chatglm-6b 运行train.py,显示: trainable params: 14680064 || all params: 3368640512 || trainable%: 0.4357860076700283 全部参数的数量不是6B,是什么原因?

微调完成后,运行 infer_lora_finetuning.py ,显示 trainable params: 6172532736 || all params: 6187212800 || trainable%: 99.7627354274933 全部参数的数量正确,但lora可训练参数 99%, 是什么原因?

xxll88 avatar Jun 24 '23 14:06 xxll88