ChatGLM-Tuning 使用lora 训练后无效果的问题

我这里准备了1500条alpaca数据，问：你是谁，回答：我是XXXXXX 另外有一个新知识也是1500条数据，使用lora训练后，新知识训练几百步后就有效果了，但是想要替换原来6B他里面的内容，已经训练上万步了，还是替换不到，这是怎么个情况呢。

Apr 06 '23 00:04 cywjava

你这新知识进行多轮对话的时候还能记住吗？

Apr 06 '23 01:04 xiaoweiweixiao

如果训练集里的prompt够长够独特，应该能替换的。如果是通用领域，感觉万步是远远不够的。

Apr 06 '23 01:04 suc16

如果训练集里的prompt够长够独特，应该能替换的。如果是通用领域，感觉万步是远远不够的。

这得多少步啊。。

Apr 06 '23 02:04 cywjava

你这新知识进行多轮对话的时候还能记住吗？

多轮对话后，会胡说了。。因为他原来里面就一些相似的内容。

Apr 06 '23 02:04 cywjava

你这新知识进行多轮对话的时候还能记住吗？

多轮对话后，会胡说了。。因为他原来里面就一些相似的内容。

对啊，你不做lora的话，问他问题，他也会有一种回复。现在就是想让新学的内容彻底替换原始的训练集的内容，也就是新回答B生成概率远大于原回答C，P(B)>P(C)，我理解是有两种思路。第一种，让prompt够独特，每次提问时候都输入和训练集一致的prompt。也就是让模型学到条件概率，在prompt是A的情况下，生成回答B的概率P(B|A)最大。第二种，生成非常多的prompt和回答B组合，加入训练集训练，让P(B)变大。

Apr 06 '23 02:04 suc16

我觉得让prompt独特一些比较可行。在使用的时候，可以封装一下用户的提问，这样用户可以无感。