FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

微软利用LLM生成embedding已经发布了相关论文和模型,在英文榜单取得SOTA,期待LLaRA

Open mechigonft opened this issue 1 year ago • 4 comments

论文名称:imporving_text_embeddings_with_large_language_modeds 模型地址:intfloat/e5-mistral-7b-instruct

可惜这个模型的基座模型是英文模型,英文效果好,但是中文并不好

mechigonft avatar Jan 12 '24 08:01 mechigonft

但是这个在cmteb上并没有取得特别大的领先分数,体积达到了15GB,很耗计算资源的

adol001 avatar Jan 15 '24 06:01 adol001

在英文榜单上,intfloat/e5-mistral-7b-instruct大幅领先第二名2分以上(平均值),这还不叫“取得特别大的领先分数”吗?第二名领先第三名也才0.15分

mechigonft avatar Jan 15 '24 06:01 mechigonft

那里可以看到这个榜单?

yiyexy avatar Jan 15 '24 10:01 yiyexy

@adol001 中文榜单确实效果不好,但是他们也说明了,是因为他们的基座模型是一个英文预训练模型,但是他们这个方法是没问题的

mechigonft avatar Jan 16 '24 05:01 mechigonft