bge m3如何进行预训练

[adol001]

有没有类似bge 1.5的那种预训练脚本？

[staoxiao]

bge-m3 and bge-1.5 share the same pretraining script: https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/pretrain

[adol001]

@staoxiao 是以 https://huggingface.co/BAAI/bge-m3-retromae 为基座进行预训练吗？ 然后是不使用unify的方式进行微调，最后使用unify的方式进行微调？ BAAI/bge-m3-unsupervised和BAAI/bge-m3在微调训练上的区别就是开启了联合训练？