LLM-Tuning icon indicating copy to clipboard operation
LLM-Tuning copied to clipboard

Published 20 hours ago • verified publisher icon beyondguo

微调的时候如何让模型记住一些特有的知识呢

Open controZheng opened this issue 2 years ago • 3 comments
trafficstars

微调的时候如何让模型记住一些特有的知识呢？比如问你是谁，由谁开发的场景，需要模型回答固定的答案这样，类似于faq

controZheng avatar Jul 03 '23 01:07 controZheng

目前好多开源微调chatglm的项目 都有人问这种微调后效果不佳的问题 感觉是个比较严重的问题。。。

valkryhx avatar Jul 03 '23 09:07 valkryhx

数据量到位，且保证pormpt模板没问题，肯定可以记住你微调的内容。虽然模型原本的知识可能会遗忘掉。

beyondguo avatar Jul 05 '23 02:07 beyondguo

微调的时候如何让模型记住一些特有的知识呢？比如问你是谁，由谁开发的场景，需要模型回答固定的答案这样，类似于faq

将这条信息写死在prompt中。让模型回答的时候参考这条信息，可以快速解决这个问题

litetoooooom avatar Jul 07 '23 08:07 litetoooooom