私域数据finetune，答案不稳定

[ChenBinfighting1]

Is your feature request related to a problem? Please describe.

采用P-Tuning 和全参finetune，可实现私域数据嵌入，但是当私域数据量很少[100多条]时候，问对应的问题，可将答案原模原样回答； 当增加私域数据到上千，回答就不可控，虽然看着像是正常的回答，但是未能原样输出，达不到预期。

Solutions

更改学习率，batch_size等都不行；有没有哪位大佬帮忙解答一下，该怎么微调?

Additional context

No response