Llama2-chinese 模型推理没有输出

模型推理没有输出

Open szzhh opened this issue 2 years ago • 5 comments

模型推理没有输出是怎么回事啊

Oct 18 '23 11:10 szzhh

用generate.py测的吗？

Oct 19 '23 03:10 little51

是的，但是我把--load_8bit 注释了就可以了

Oct 19 '23 03:10 szzhh

并且我觉得训练有点问题没有添加终止符，所以输出不会停止一直循环，直到最大长度，因此你才会在输出的时候截断一下

Oct 19 '23 04:10 szzhh

用generate.py测的吗？

是的

Oct 19 '23 04:10 szzhh

这个可能与微调的模型有关

Oct 19 '23 06:10 little51