LCK@Lin

> same 这个是由于hugging Face的ChatGLM-6B代码有更新，把把最新的模型替换一下就可以了

> modify：ChatGLM-Instruct-Tuning/modeling_chatglm.py", line 836 to MASK, gMASK = 130000, 130001 还有两个文件更新了，[tokenization_chatglm.py](https://huggingface.co/THUDM/chatglm-6b/blob/main/tokenization_chatglm.py)和[tokenizer_config.json](https://huggingface.co/THUDM/chatglm-6b/blob/main/tokenizer_config.json)这两个替换了吗

目前我用的数据集较小才1000条问答数据，最终的loss如下，可以请教一下怎么样才能提升微调效果嘛，需要增加数据集到多少条？语料的质量是不是也会对微调结果产生比较大的影响？ train/epoch 3.0 wandb: train/global_step 1497 wandb: train/loss 3.3408 wandb: train/total_flos 8172835011870720.0 wandb: train/train_loss 3.5233