Jarvanen
Results
4
comments of
Jarvanen
请问下你的数据量大约是多少 需要训练60轮的嘛
> > 请问下你的数据量大约是多少 需要训练60轮的嘛 > > 相关性对比,1.0好,1.5部分测试输出与prompt完全不相关;文本重复上,1.0几乎没有,1.5就有很大的概率重复; 我也遇到了同样的问题,我是14B之间的对比,1.0比1.5遵从提示词的效果要更好。 另外我加了epoch降了lr加了batchsize后,1.0遵从提示词的效果也变好了,1.5还没尝试。
--tensor-parallel-size 4
一样的情况 请问下微调的参数你是怎么设置的 我用了同样的参数和数据 1.0微调没问题