ChatGLM2-6B [BUG/Help] 微调后通用问答受影响

Is there an existing issue for this?

[X] I have searched the existing issues

Current Behavior

用自己的客服数据微调，通用问答受影响。这个有什么办法减小影响吗？感觉像捡了芝麻丢了西瓜。下面是微调后的测试

微调后模型回复 #################### 如何改善睡眠质量客服：您提供一下您的车牌号，我帮您登记一下。 ####################

原ChatGLM2模型回复如下 #################### 如何改善睡眠质量

改善睡眠质量需要从多个方面入手,以下是一些可能有助于改善睡眠质量的建议:

维持规律的睡眠时间表:尽量在每晚相同的时间上床睡觉和起床,即使在周末和假期也要尽量保持一致。
创建舒适的睡眠环境:保持卧室安静、凉爽、黑暗、舒适和整洁。如果需要,可以使用睡眠面罩、耳塞或空气净化器来帮助创造一个更舒适的睡眠环境。
改善睡前活动:在睡前数小时内避免使用电子设备,如手机、电脑或平板电脑。这些设备发出的光线和刺激可能会影响睡眠质量。
控制饮食和饮水:尽量避免在睡前数小时内摄入咖啡因、酒精和尼古丁等兴奋剂。此外,要避免在睡前大量饮水,以免频繁起夜影响睡眠。
放松身心:在睡前进行一些有助于放松身心的活动,如轻松的瑜伽、深呼吸、冥想或伸展运动,有助于减轻压力和焦虑,有助于入睡。
锻炼身体:适度的身体锻炼可以帮助改善睡眠质量,但不要在睡前进行剧烈的运动,以免影响入睡。
减少蓝光:晚上使用电子产品、电灯等会发出蓝光,这可能会影响睡眠质量。尽量在睡前一小时停止使用这些设备,并尝试使用暖色调的灯光来避免蓝光的影响。请注意,如果存在长期的睡眠问题,最好咨询医生进行评估和治疗。 ####################

Expected Behavior

No response

Steps To Reproduce

微调关键参数如下： PRE_SEQ_LEN=128 LR=1e-2

--max_source_length 1024 \
--max_target_length 512 \
--per_device_train_batch_size 6 \
--per_device_eval_batch_size 6 \
--gradient_accumulation_steps 2 \
--predict_with_generate \
--max_steps 2000 \
--logging_steps 20 \
--save_steps 1000 \
--learning_rate $LR \
--pre_seq_len $PRE_SEQ_LEN \

Environment

- OS:Centos 7.8.2003
- Python:3.7
- Transformers:4.28.1
- PyTorch:1.12.1
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :11.6