fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

quant转换模型出现的问题

Open White-Friday opened this issue 1 year ago • 1 comments

在执行 ./quant -p chatglm-6b-fp32.flm -o chatglm-6b-fp16.flm -b 16出现以下问题 FastLLM Error: Unkown model type: unknown terminate called after throwing an instance of 'std::string' Aborted (core dumped)

White-Friday avatar Jul 05 '23 06:07 White-Friday

应该是要更新一下原始的chatglm模型(至少更新一下config.json),早期的模型里config.json没有指定model_type,导致不能自动识别模型类型

ztxz16 avatar Jul 05 '23 07:07 ztxz16