ChatGPTX-Uni icon indicating copy to clipboard operation
ChatGPTX-Uni copied to clipboard

zero finetuning思路有问题

Open Doraemon20190612 opened this issue 2 years ago • 1 comments

看了代码,本质上模型没有任何更新,你的学习前,学习中和学习后的区别就是prompt发生了变化。其实模型没有学到任何东西。

Doraemon20190612 avatar Apr 20 '23 14:04 Doraemon20190612

感谢您的细心检查!正如说的这样,zero finetuning意为零次微调,因而权值是不会更新的,但这样做也是有好处的,此时将不断更新的prompt形成到本地的一个JSON文件中,就相当于是一个动态变化的知识数据库。就像人类一样,当资源充足时,才会对整体模型进行一次微调。由于这段时间忙于研究,这一部分说明后续加上。

StarRing2022 avatar Apr 20 '23 15:04 StarRing2022