TigerBot icon indicating copy to clipboard operation
TigerBot copied to clipboard

请问支持fastchat推理框架吗

Open fjchung opened this issue 1 year ago • 3 comments

使用fastchat框架推理,模型回答完问题之后,还会继续输出与问题无关的文字或者续写直到max length

fjchung avatar Jan 23 '24 15:01 fjchung

好像要做特殊适配,停止条件不一样 我自己写过一个很糟糕的适配尝试,勉强能用,你可以看看 https://github.com/CberYellowstone/Langchain-Chatchat

CberYellowstone avatar Jan 23 '24 15:01 CberYellowstone

多数是停止条件的问题,框架没有识别到tokenizer.eos_token_id,需要针对具体框架调整。

i4never avatar Jan 24 '24 03:01 i4never

好像要做特殊适配,停止条件不一样 我自己写过一个很糟糕的适配尝试,勉强能用,你可以看看 https://github.com/CberYellowstone/Langchain-Chatchat

大佬,代码有点多,能说下具体哪个层级目录下吗

fjchung avatar Feb 01 '24 08:02 fjchung