Chinese-Vicuna icon indicating copy to clipboard operation
Chinese-Vicuna copied to clipboard

Published 20 hours ago • verified publisher icon Facico

target_modules 各参数是什么意思，如何选择参数进行针对性的微调？

Open pan365wang opened this issue 1 year ago • 2 comments

target_modules 各参数是什么意思，如何选择参数进行针对性的微调？ 如： "target_modules": [ "q_proj", "v_proj", "k_proj", "o_proj", "down_proj", "gate_proj", "up_proj" ], 又如： "target_modules": [ "q_proj", "v_proj" ],

大神帮忙解释下。

pan365wang avatar Jun 05 '23 05:06 pan365wang

求助

pan365wang avatar Jun 06 '23 03:06 pan365wang

如果你不了解lora的话你可以不用管，不用调这些东西。如果你想多训练点参数就用上面的，少训练点就用下面的

Facico avatar Jun 29 '23 08:06 Facico