FlagEmbedding

FlagEmbedding copied to clipboard

关于LLaRA的loss疑问

1

您好，你们的LLaRA工作太棒啦。不过对于里面的loss我有一些疑问。这里的W是指embedding矩阵还是由0/1组成的表明位置的矩阵。loss的意义是使得输出的向量距离原始文本/下一句所有token的向量距离之和最近吗？

zhaobinNF

训练时显卡占用率低

2

目前用的三块T4训练，显卡占用率非常低，请问是什么原因。您们训练平均显卡占用率能达到多少

Scott666666

是否有多语言的embedding 模型支持

4

在开发RAG应用是, 用户上传一大批pdf文件, 需要提前知道是什么语言, 再选择使用bge-large-en 或者 bge-large-zh,模型来进行向量化. 请问, BGE是否有多语言的支持, 可以不用提前扫描全部文件来确定是什么语言,调用不同的模型来进行 embedding?

weiminw

如何把交叉选负样本的功能关了

5

请问如何把交叉选负样本的功能关了，因为可能存在别的集合的负样本是这个集合的正样本，同样也会存在别的集合的正样本也是这个集合的正样本

Scottlinzy

LLaRA是用大模型LLM来做embedding吗？

3

同上，常规的embedding，基座模型是encoder模型，LLaRA是准备用LLM来做embedding吗？召回速度是否会有影响，因为LLM模型参数量越大，响应速度越慢，是否会降低embedding的效率

mechigonft

When fine-tuning and using `query_instruction_for_retrieval` should document instruction be blank?

1

If I followed the fine-tuning instructions and added a `query_instruction_for_retrieval`, should I use the same, different, or blank (`""`) instruction for the document ingestion part?

austinmw

BGE Embedding有支持中英文的模型吗

2

ann22

预算相关：请问BGE large预训练和fine tuning都使用了多久的服务器呢？谢谢

200987299

BAAIbge-large-zh-v1.5少量正样本是否可以finetune

1

非常棒的工作，想请教下以下两个问题。 1. 基于BAAI/bge-large-zh-v1.5 继续finetune，训练数据里一定要有负样本吗。 2. 一次finetune最少需要的样本量是多少，如果我只有一两个正样本去finetune是否可行。 例如我需要模型新增能力：能够识别出 「销售额和GMV」， 「点击率和Ctr」的相关性很高。 那我只用这两条正样本去finetune可行吗

LanceLuoyuan

About LLaRA

2

LLaRA is a fantastic job! When do you schedule to open-source it? That will be a great contribution to the community.

kail8