[BUG/Help] <用自带广告数据P-tuning后，模型原有能力消失>

[twosnowman]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

按照说明p-tuning自带的广告语数据后，加载训练后模型，原有能力基本消失，所有回答都和广告语相关，答非所问。如何保留原有能力的情况下p-tuning，感谢！

Expected Behavior

No response

Steps To Reproduce

如以上问题所述

Environment

- OS: wsl Ubuntu
- Python: 3.10
- Transformers:4.27.1
- PyTorch: 2.0.0
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

[cywjava]

这个问题一般都是代码造成的。。 你可以先更新最新的模型文件 ，再微调看看。如果还是这样，就是你的代码有问题了

[twosnowman]

没有修改任何代码， 唯一的改动是把--model_name_or_path 从 chatglm-6b-model 改为chatglm-6b-int4-model， 否则启动training后，会被Killed

[ray-008]

使用LoRA微调方法不会忘记老知识，可以去 https://github.com/THUDM/ChatGLM-6B/blob/main/PROJECT.md 这里看，有很多基于LoRA微调的项目

[eRoad-f2e]

我也是这样,所有问题都变成和广告相关.

[realcarlos]

使用LoRA微调方法不会忘记老知识，可以去 https://github.com/THUDM/ChatGLM-6B/blob/main/PROJECT.md 这里看，有很多基于LoRA微调的项目

意思是使用ptuning微调后会忘记以前的知识？感觉不太合理，之前的模型经过1T的数据量训练，Adgen里数据量也就10万条。

[jiayi37u]

使用LoRA微调方法不会忘记老知识，可以去 https://github.com/THUDM/ChatGLM-6B/blob/main/PROJECT.md 这里看，有很多基于LoRA微调的项目

有个用chatglm做医疗问答的项目，作者的踩坑贴提到lora会遗忘已有知识，不过这个项目的微调数据集全是专业对话没有日常对话

[surviveMiao]

+1，我也遇到这样的问题，步骤就是按照官方给的 很离谱 求解

[bmilkman]

+1

[gospider007]

+1

[zhangch9]

Duplicate of #403