FlagEmbedding
FlagEmbedding copied to clipboard
FlagOpen
Retrieval and Retrieval-augmented LLMs
作者您好，我在unified finetuning bge-m3时遇到了一些问题，希望能得到您的帮助，感谢！ 1、下面是我unified微调时的参数，我微调之后发现，在我的测试集上大部分数据（大约5w条）的“稀疏向量”全变成了0，而微调前只有400条是0。请问是我的参数设置有问题吗，还是因为数据的原因呢？ 2、unified finetuning后，dense embedding检索比单独的dense finetuning的效果要差一些， dense finetuning时per_device_train_batch_size=80， unified finetuning时per_device_train_batch_size=70，其他参数一致。 3、self_distill_start_step需要设置吗？ 4、我有两个任务： 1）相似问题对（qq）； 2）问答对（qa）； qq的文本较短，集中在100以内；qa的文本较长，集中在300左右。那么unified finetuning的时候是可以直接将他们混合打乱一起训练吗，或者使用efficient batching strategy来按长度分割训练？ `nohup torchrun --nproc_per_node 4 \ -m FlagEmbedding.BGE_M3.run \ --output_dir /data1/melo/embedding_models/emb_1...
When finetuning bge-large-en-v1.5: ``` Traceback (most recent call last): File "/opt/homebrew/bin/torchrun", line 8, in sys.exit(main()) ^^^^^^ File "/opt/homebrew/lib/python3.11/site-packages/torch/distributed/elastic/multiprocessing/errors/__init__.py", line 355, in wrapper return f(*args, **kwargs) ^^^^^^^^^^^^^^^^^^ File "/opt/homebrew/lib/python3.11/site-packages/torch/distributed/run.py", line 919,...
Thank you for your excellent work. I used Visualized BGE for testing on COCO/Flickr, but the retrieval performance was quite poor. However, I used the stage2 weights. I would like...
Hi, I would like to ask about incorporating additional training objectives that are beneficial to downstream tasks during the pre-training of BGE on top of the MLM task. Specifically, my...
{"4":0.055145263671875,"6":0.01322174072265625,"16":0.012908935546875,"37":0.012176513671875,xxxxxxxxxx} 相比于BM25稀疏算法得出来的分数，BGE-M3模型稀疏出来的向量分数大多在0.01以内，存入milvus内通过稀疏检索，哪怕是使用同一稀疏向量的值去检索，得出的分值也在0.02分以内，这会让我排序阈值不好控制，请问是我缺少什么参数吗？通用RAG对于稀疏向量的阈值分数是多少呢？
I am currently working on a project that involves finetuning Visualized BGE. I have been able to successfully use the pretrained model, but now I would like to further finetune...
大神们好。 我在对rerakner进行一些实验的时候，发现一些问题。（**bge-reranker-v2-m3**模型） **问题：** 1：全精度(fp32）比 半精度(fp16)，整体推理耗时慢太多了（差不多5倍的差距）。请问这是正常的吗 2：我对token耗时和模型推理耗时进行了统计。发现全精度的token耗时占比太大了，比半精度大多了。正常直觉来看，不应该是全精度的模型推理耗时上升吗，为啥是token耗时(文本-->token)剧烈增加？如下图  另外，如何才能降低 token转换 的耗时 ？
如果我的数据集每条负样本数量不一致，比如在25-35之间浮动。train_group_size应该如何设置，可以直接取20之间的值么？ 还是我应该去掉一些，让每条负样本的长度一致，比如19，然后再设置train_group_size为20
A data include some pictures and a text. Like: image1,image2,image3 and a text. Can I use **visualized bge**? How to use, thank you！ ``` def encode(self, image=None, text=None): # used...
