微调后的模型使用VLLM加载模型后推理输出乱码，但使用transformer导入模型后输出就是正确

[bimver]

系统环境 vllm==0.3.2 transformers=4.38.1 我对千问1.5-0.5B进行了全参数微调，然后在测试的时候发现使用VLLM加载模型再推理的话会输出乱码，大概是lon euras...一堆乱七八糟的。但是我使用transfomer加载模型再输出就是正常的，这个是哪里没设置对吗？ 还有，我VLLM在加载没训练过的任何模型输出都是正确的，唯独我微调后，就没法用了

[KevinFan0]

请问下微调所用的数据格式是什么样的呢

[Iven2166]

看一下 https://github.com/QwenLM/Qwen1.5/issues/46

[bimver]

看一下 #46

你好，我看了那个问题，但是我这里是用的vllm加速推理。代码基本如下 from vllm import LLM,SamplingParams model=LLM('qwen_0.5b_finetuned') tokenizer=AutoTokennizer.from_pretrained('qwen_0.5b_finetuned') sampling_params=SamplingParams(top_p=0.8,temperature=0.5,max_token=5) prompt='你好' messages=[ {"role":"system","content":"You are a helpful assistant"} {"role":"user","content":prompt} ] text=tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True) outputs=model.generate([text],sampling_params) 上述的代码输出为：lon euraszeich deleting。但是我用没微调过的输出就是正常的，你看我这个应该在哪里改参数可以使它输出正确呢？

[lidejian]

同，完全相同代码和数据（修改了system的prompt），Qwen1.5-1.8B使用官方所给微调脚本后，transformer和vllm加载都无问题；Qwen1.5-0.5B在transformer加载无问题，但vllm加载后不符合预期，输出"!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"

[lidejian]

vllm bug: https://github.com/QwenLM/Qwen1.5/issues/122, 升级vllm==0.4.0版本的vllm解决该bug.

[whk6688]

非常感谢 相同的问题 折腾了一天 升级可以解决