FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

Published 20 hours ago • verified publisher icon FlagOpen

bge-m3的基座模型

Open zhaobinNF opened this issue 1 year ago • 3 comments

您好，想问一下bge-m3的基座模型是什么

zhaobinNF avatar Feb 04 '24 01:02 zhaobinNF

您好，bge-m3基座为经过拓展position和retromae预训练后的xlm-roberta-large，可以参考技术报告的附录。 预训练后的模型近期也准备开源出来。

staoxiao avatar Feb 04 '24 03:02 staoxiao

非常感谢您的回复。还有一个问题就是，扩充文本长度到8k的方案用的是什么啊

zhaobinNF avatar Feb 04 '24 05:02 zhaobinNF

直接把position embedding加上8192-512个新向量进行训练，新位置向量使用该方法；https://spaces.ac.cn/archives/7947 进行初始化/

staoxiao avatar Feb 04 '24 11:02 staoxiao