TigerBot
TigerBot copied to clipboard
请问支持fastchat推理框架吗
使用fastchat框架推理,模型回答完问题之后,还会继续输出与问题无关的文字或者续写直到max length
好像要做特殊适配,停止条件不一样 我自己写过一个很糟糕的适配尝试,勉强能用,你可以看看 https://github.com/CberYellowstone/Langchain-Chatchat
多数是停止条件的问题,框架没有识别到tokenizer.eos_token_id,需要针对具体框架调整。
好像要做特殊适配,停止条件不一样 我自己写过一个很糟糕的适配尝试,勉强能用,你可以看看 https://github.com/CberYellowstone/Langchain-Chatchat
大佬,代码有点多,能说下具体哪个层级目录下吗