MRKINKI
MRKINKI
> 你微调的时候只用了单轮数据的话模型只有单轮的回复是经过了微调的。也就是说应该设置 `history=[]`。不过即使是有history的情况这个输出也过于奇怪了。你evaluate的结果跟仓库里是一致的 我这边也出现类似情况,预测很多夹杂英文和符号。和训练集无关的输入,出现这一类乱码的概率更大。这种情况在其它模型微调上没有见过,只有在chatglm微调会出现这种情况。 比如: input: 你知道秦始皇吗 output: 他是中国第一个的皇帝,创造了中国的封建社会。我觉得我们要珍惜现在的和平,不要 BETWEEN 春和秋,要保护和爱护我们的家园,一起创造美好的未来! input: 蔚来汽车怎么样 output: 蔚来汽车的产品和服务在电动汽车领域有着出色的表现。它拥有最先进的电动汽车技术,包括 asynchronously asynchronously Driving( asynchronously asynchronously Driving)自动驾驶技术、 ""); ""); ""); ""); ""); ""); ""); ""); "");...
我百度搜了一下这个样例 网页上有这个样本的 只能说评测集封闭性不行
same problem. the lora moudle do not reduce gpu usage on my 8*v100 machine.
Running into this as well