InstructUIE icon indicating copy to clipboard operation
InstructUIE copied to clipboard
verified publisher icon BeyonderXX

混合精度训练(fp16)

Open charosen opened this issue 1 year ago • 0 comments

请问训练3b、11b模型的时候，需要指定--fp16参数吗？我看代码里的训练脚本里面没有使用混合精度训练

scripts/train_flan-t5.sh scripts/train_uie_instruct_multi_node.sh

复现的时候，需要指定--fp16或--bf16参数吗

charosen avatar Feb 18 '24 11:02 charosen