xiningnlp

如果训练集的loss可以降低到很多（且训练中途没有出现nan），可能需要检查推理(cli_demo.py)时参数是不是和训练时参数是否一致。下面是我的推理时参数。推理时参数一定要指定`lora_rank`, `quantization_bit` 等参数（如果你用了和默认值不一样的参数值的话），且推理时参数值和训练时一致。 ```python INFERENCE_COMMAND_LINE = """ --finetuning_type lora --model_name_or_path /w/transformers/chatglm2-6b --checkpoint_dir /nas/output/copilot_0.1/checkpoint-1000 --lora_rank 32 --use_v2 --quantization_bit 4 """ ``` 当然一个更好的设计是。`everything can be loaded from folder`，即 from_fine_tuned 可以加载所有的东西，包括模型，包括配置，而不是必须从命令行指定。

修改tokenization_chatglm.py，最后一行： ```python def _decode( self, token_ids: Union[int, List[int]], **kwargs ) -> str: if isinstance(token_ids, int): token_ids = [token_ids] if len(token_ids) == 0: return "" if self.pad_token_id in token_ids: # remove...

需要尝试一下指令微调。不过ChatGLM-6B迄今为止没有公布他们如何将GLM-XXX微调为ChatGLM-6B的。