fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

chatglm2-6b转换成flm个时候,生成答案中数字部分与原模型输出不一致

Open snakecy opened this issue 1 year ago • 1 comments

如题,对于数字生成时出现*或重复现象

snakecy avatar Sep 12 '23 02:09 snakecy

遇到了类似的问题,使用torch2flm.py转换的chatglm-6b int8模型,生成时出现了非中文token解码错误。

TylunasLi avatar Sep 21 '23 15:09 TylunasLi