FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

bge-multilingual-gemma2:基于LLM的embedding模型比常规的embedding模型有哪些优势(what are the advantages of a LLM-based embed model to non LLM-based one)?

Open hcnhcn012 opened this issue 1 year ago • 2 comments

bge-multilingual-gemma2是一个基于LLM的模型,从调用方法上来说,需要输入提示词,这个和一般的embedding模型不一样,请问这个能带来什么优势吗,是否可以拿一个场景举例说明一下呢?

hcnhcn012 avatar Aug 30 '24 04:08 hcnhcn012

LLM本身参数量大,在大规模语料上进行了训练,语言理解能力很强。 增加提示词,有利用模型区分不同任务,如sts任务和passage retrieval任务,这两个任务要求不同。

staoxiao avatar Sep 04 '24 06:09 staoxiao

@staoxiao 意思是否是这样哈,比如要支持不同的任务传统embedding模型(比如bge-m3)是需要微调的,基于LLM的embedding模型直接可以通过指定不同任务对应的提示词而不需要微调?

hcnhcn012 avatar Sep 04 '24 07:09 hcnhcn012