TencentPretrain
TencentPretrain copied to clipboard
lora貌似不支持ddp?
Can't pickle local object 'init.
Lora在使用ddp的时候,lambda函数无法pickle
建议直接在forward函数加入 if dropout>0的逻辑判断,而不是初始化,进而避免lambda函数的使用。