zhaobinNF

I can not find these there txt file (cnews.train.txt, cnews.val.txt, cnews.test.txt) in the downloading dataset. Are they created by yourself?

关于LLaRA的loss疑问

1

您好，你们的LLaRA工作太棒啦。不过对于里面的loss我有一些疑问。这里的W是指embedding矩阵还是由0/1组成的表明位置的矩阵。loss的意义是使得输出的向量距离原始文本/下一句所有token的向量距离之和最近吗？

原始数据量疑问

3

您好，问下你们用于训练的文本对的来源原始语料大概有多大啊。会低于1.3T吗

reranker 预训练

1

问下对于reranker有预训练的流程和相关代码吗

关于C-mteb评测数据

3

您好，问下您还能评测这个mteb/amazon_reviews_multi数据吗，好像这个数据集已经disable了

不同类型数据集训练bge

5

您好，问下我有2个不同类型数据集，我应该把他们混合在一起训练还是进行两次接续训练啊

bge训练切换左右塔

3

您好，想问下在训练bge-embedding模型的时候，我在训练用passage去召回相关的query任务后，在使用微调后模型时，用query召回passage,发现效果不佳。但是从原理上来看，bge只是一个embedding模型，左右塔应该是对称的。想问一下这是什么原因啊

reranker训练时的in batch negative

6

您好，在训练reranker的时候，需要考虑in-batch negative以及cross device negatives吗

关于batch_size的计算方式

2

您好，论文里提到的batch_size=19200，指的是Device_num **X** per_device_batch_size **X** accumulation_steps这样计算出来的结果吗