Orion icon indicating copy to clipboard operation
Orion copied to clipboard
verified publisher icon OrionStarAI

VLLM 运行输出会输出不同语言

Open ZeroYuJie opened this issue 1 year ago • 1 comments

我在prompt里规定限制了语言，在使用https://github.com/dachengai/vllm 运行会出现输出不同语言的情况，在Transformers 中不会出现这种情况

ZeroYuJie avatar Jan 25 '24 01:01 ZeroYuJie

感谢关注。可能是prompt使用造成的。chat的prompt格式详见：https://huggingface.co/OrionStarAI/Orion-14B-Chat/blob/main/generation_utils.py

chenxingphh avatar Jan 25 '24 06:01 chenxingphh