如何获得蒸馏分数进行微调？

Open thunderbolt-fire opened this issue 4 months ago • 3 comments

想请问一下我想进行蒸馏微调reranker，如何构造对应的微调数据集，获得相应的 teacher_scores 。我打算利用大模型得到这个分数，构造出来的分数需要满足什么要求？必须进行归一化后在【0-1】吗？

Jul 30 '25 03:07 thunderbolt-fire

这个分数不需要进行归一化的，在训练中会用softmax后的分数作为蒸馏标准的

Aug 04 '25 04:08 545999961

对于蒸馏分数有什么具体要求吗？我看example_data 里的分数都是 0-100？

Aug 12 '25 09:08 thunderbolt-fire

这个分数不需要进行归一化的，在训练中会用softmax后的分数作为蒸馏标准的

由于我的蒸馏分数是自己设计的，所以我自己归一化到【0-1】了，请问有什么影响吗？即我的微调数据集中的分数都是0-1

Aug 12 '25 09:08 thunderbolt-fire