fastllm
fastllm copied to clipboard
chatglm2-6b转换成flm个时候,生成答案中数字部分与原模型输出不一致
如题,对于数字生成时出现*或重复现象
遇到了类似的问题,使用torch2flm.py转换的chatglm-6b int8模型,生成时出现了非中文token解码错误。