是否有计划针对agent函数调用微调

[lucasjinreal]

小模型做其他任务不太行，或许可以挖掘一下agent函数调用的潜力

[charent]

我另外有一个项目在计划做针对agent的sft，还没有更新代码，目前小模型做rag我看效果还行。

小于1B的模型不具有涌现现象，所以做多任务效果不行。小模型目前的场景主要在帮助大模型做投机采样（我目前还没见过小于1B的assist model 2333），或者微调后放在游戏中做生成npc对话。

[lucasjinreal]

@charent 另外项目会开源吗, 效果如何

[shtdbb]

确实，可以做成意图识别的小模型。而且既然三元组抽取效果都还不错，那意图识别的结构化信息抽取能力应该也够。

[charent]

@charent 另外项目会开源吗, 效果如何

还在折腾训练数据阶段😂，模型得换成decoder-only的，encoder-decoder容易讲胡话，总感觉哪里没做对，短期内应该没啥效果。效果好会开源，效果差就算了。