fangzheng
Results
1
issues of
fangzheng
系统环境 vllm==0.3.2 transformers=4.38.1 我对千问1.5-0.5B进行了全参数微调，然后在测试的时候发现使用VLLM加载模型再推理的话会输出乱码，大概是lon euras...一堆乱七八糟的。但是我使用transfomer加载模型再输出就是正常的，这个是哪里没设置对吗？ 还有，我VLLM在加载没训练过的任何模型输出都是正确的，唯独我微调后，就没法用了