FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

llm_embedder中文下问题

Open jym-coder opened this issue 2 years ago • 3 comments

请问llm_embedder这个模型有中文版本的吗 ,我这边测试发现llm_embedder英文版对中文的预测表现准确度不太好,一组同样的数据,在中文下的相似度分数不太对,但在翻译为英文再次计算相似度,是对的。 如下图所示,中文的预测工具结果为第2个分数最高,但实际应该是第三个。翻译为英文后,是对的。 中文的结果: image

翻译为英文后的结果: image

代码示例: image

jym-coder avatar Dec 04 '23 10:12 jym-coder

您好,llm_embedder是英文模型,目前不支持中文。

staoxiao avatar Dec 05 '23 02:12 staoxiao

您好,llm_embedder是英文模型,目前不支持中文。

好的 非常感谢您的回复,请问有计划会支持中文的llm_embedder模型吗?

jym-coder avatar Dec 05 '23 02:12 jym-coder

目前没有计划。

staoxiao avatar Dec 05 '23 02:12 staoxiao