yuxin.wang
yuxin.wang
只凭目前这些信息,我也没有思路,你的环境为啥会爆显存。
bge 可以通过 sentence_transformers 加载,所以可以通过 uniem 进行微调。
应该不需要修改代码,你指定模型类型为 sentence-transformers 就行~
嗯嗯,都是同样的数据集,只是模型参数规模不一致~
谢谢反馈,这看起来是 tokenizers 的问题,需要设置一下才行,我去读读文档看看要不要在脚本中自动添加这个环境变量。
使用的是 MEAN ~
看起来是网络的原因
可以的,只要是 SentenceTransformers 能加载的,都可以微调。
M3E 只是模型,还没有对外提供服务的能力,不过您可以尝试其他支持 openai 接口的框架来加载 M3E 模型
是不是差的不太多?一般来讲 Mean 需要考虑 padding 的 token,所以需要 Mask