GPT2-chitchat
GPT2-chitchat copied to clipboard
有没有可能通过对通用对话的模型进行fine-tune给机器人赋予一个固定的人设和状态?并且对客观条件做出正确的反应?
我想的是三个问题: 1、有没有可能赋予机器人一个固定的人设?例如姓名,性别,年龄,职业,身材等,在询问对应的问题时做出正确的反应; 2、有没有可能赋予机器人一个虚拟的状态,使之前后文更加连贯,这样就不会出现前一句话刚说完在加班,后一句话就说在放假; 3、有没有可能让机器人对于客观条件做出正确的反应,例如:询问时间时做出一个正确的回答而不是瞎编一个点数,询问在干什么时能够做出恰当的回应而不是后半夜也说在上班。
我想试着解决第一个问题,我先定义了几个special token,[NAME], [GENDER], [YEAROFBIRTH], [MONTHOFBIRTH], [DAYOFBIRTH],[AGE]。然后使用了一小批形如: 你是谁? 我是[NAME] 之类的预料对预训练的模型进行训练,训练44个epoch之后,感觉机器人脑子被我训练瓦特了,表现有2:一是在提问其他问题再问你是谁的正确率要远低于直接问你是谁的正确率,二是这几个问题的答案权重偏高,询问其他与这些无关的问题也会回答我是XXX,我是XX岁,甚至出现我是XX星座岁的回答。
我觉得你可以冻结预训练模型的层,可以保留最后一层用来下游微调训练,这样不会改变模型整体的学习内容
我觉得你可以冻结预训练模型的层,可以保留最后一层用来下游微调训练,这样不会改变模型整体的学习内容
我冻结了试了一下,还是脑子瓦特了