fastllm
fastllm copied to clipboard
quant转换模型出现的问题
在执行 ./quant -p chatglm-6b-fp32.flm -o chatglm-6b-fp16.flm -b 16出现以下问题 FastLLM Error: Unkown model type: unknown terminate called after throwing an instance of 'std::string' Aborted (core dumped)
应该是要更新一下原始的chatglm模型(至少更新一下config.json),早期的模型里config.json没有指定model_type,导致不能自动识别模型类型