Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

关于项目支持的模型以及quantization_bit潜在的影响的问题

Open LOGIC-10 opened this issue 1 year ago • 0 comments

作者您好~ 我看到目前支持的模型有chatglm-6b-int4-qe,chatglm-6b-int4,chatglm-6b,chatyuan。请问是否支持基于chatGLM finetune后的模型呢(ptuning或者lora)? 我在加载自己本地finetune后的checkpoint的时候,遇到如下警告,模型没有加载成功。

Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at (我的路径)/ChatGLM-6B/ptuning/output/adgen-chatglm-6b-pt-2048-2e-2/checkpoint-3000 and are newly initialized: ['transformer.layers.5.mlp.dense_4h_to_h.bias', 'transformer.layers.13.mlp.dense_4h_to_h.bias', 'transformer.layers.21.attention.dense.weight', 'transformer.layers.3.mlp.dense_4h_to_h.bias', 'transformer.layers.17.mlp.dense_h_to_4h.weight', 'transformer.layers.19.attention.dense.bias', 'transformer.layers.6.mlp.dense_h_to_4h.weight', 'transformer.layers.18.input_layernorm.bias', 'transformer.layers.22.input_layernorm.weight', 'transformer.layers.27.input_layernorm.bias', 'transformer.layers.3.attention.dense.bias', 'transformer.layers.7.mlp.dense_4h_to_h.weight_scale', 'transformer.layers.14.input_layernorm.bias', 'transformer.layers.4.attention.dense.bias'...................

我finetune的时候设置"quantization_bit": 8,是否跟这个有关,不在当前项目支持的模型列表中?还是由其他原因导致? 我微调后的模型在其他任务上能正常推理和运行。 谢谢您的帮助~

LOGIC-10 avatar Apr 26 '23 03:04 LOGIC-10