Yingxuan Li
Yingxuan Li
你是不是设置了 --max_steps 3000，把这个去掉就行了
> 7_40 请问max_source_length设置的是多少呢？和样例一样是64吗
> 使用gpu+cpu加载，可以跑起来 那这个deepspeed.json配置文件要怎么修改呢？大佬可以提供一下吗
我用8张V100可以跑起来，但是max_source_length长度只能设为64，如果要设置为256，是不是只能增加卡数了。 感觉要full model finetuning 还是得模型并行才行
我这边是多卡训练，stage1的时候提升挺明显的，stage2、3不太明显。主要是通信占比高的时候收益明显吧