ChatGPTX-Uni
ChatGPTX-Uni copied to clipboard
zero finetuning思路有问题
看了代码,本质上模型没有任何更新,你的学习前,学习中和学习后的区别就是prompt发生了变化。其实模型没有学到任何东西。
感谢您的细心检查!正如说的这样,zero finetuning意为零次微调,因而权值是不会更新的,但这样做也是有好处的,此时将不断更新的prompt形成到本地的一个JSON文件中,就相当于是一个动态变化的知识数据库。就像人类一样,当资源充足时,才会对整体模型进行一次微调。由于这段时间忙于研究,这一部分说明后续加上。