crmlei

用InternVL2-4B 微调后遇到到灾难性遗忘的问题

6

### Motivation 用InternVL2-4B 在一个700多张图片的数据集上微调一个垂直领域的图片理解任务。微调后发现输入通用prompt，比如“请简单描述图片的内容”或“请问图片中是否有车辆”，但输出基本都是微调数据集上的答案。好像通用的能力消失了。不知道这样的问题有没有解决方案？谢谢。 ### Related resources _No response_ ### Additional context _No response_