FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard
verified publisher icon FlagOpen

关于微调bge-reranker的max_len问题

Open abc123456cxx opened this issue 1 year ago • 1 comments

我看训练参数中max_len设置为512，我现在希望可以微调bge_reranker_large模型，希望能达到2k的长度，我直接修改max_len为2k就行了嘛，但我发现训练完之后模型config中max_position_embeddings还是512+2，想问下如果想微调到2k的话 还应该修改哪个参数呢

abc123456cxx avatar Sep 27 '24 02:09 abc123456cxx

bge_reranker_large不支持2k的长度，可以用bge-reranker-v2-m3进行微调

545999961 avatar Sep 27 '24 08:09 545999961