FlagEmbedding
FlagEmbedding copied to clipboard
FlagOpen
微调reranker问题
假设我的数据集为:
{
"query": "query",
"pos": ["A", "B", "C"],
"neg": ["D", "E", "F"]
}
我在训练的时候，拆成了3条训练数据：
{"query":"query","pos":["A"],"neg":["D","E","F"]}
{"query":"query","pos":["B"],"neg":["D","E","F"]}
{"query":"query","pos":["C"],"neg":["D","E","F"]}
我发现：训练过程中，loss一直维持在2.5左右不下降，训练后的模型，在推理的时候，输出分数数据一致，都是2.861328125，没有区分度
是不是在训练reranker的时候，数据集不能拆分，因为在训练排序模型时，应该是按照pos集合的元素先后顺序给分，如果拆开的话，针对同一个query，会有不同的pos对应关系，训练时也会相互影响，是这个原因吗？
reranker的数据集可以拆分的，reranker不会使用in-batch的negatives. 这个结果看起来模型训崩了，建议查看loss情况或者数据是否有问题。
