FlagEmbedding
FlagEmbedding copied to clipboard
FlagOpen
Retrieval and Retrieval-augmented LLMs
如题，RAG系统里面已经用微调前的embedding模型向量化好的知识库，embedding模型微调以后，还有必要重新再做构建吗？
If we following the script setting of long-llm, the parameter num_train_epoch is set to 1, it will give out really significant improvment over the original model. However, if we change...
我目前做的项目的一个加速的方法是，把文本转换成向量存储一下。就是说，针对BGEM3这个大模型，我只想要实现"model.encode()"来把我的文本转成向量。这样的话，有没有什么办法帮我节省一下“from FlagEmbedding import BGEM3FlagModel”的时间？就是我说不定不需要加载整个模型，只需要import一个小小的文件就可以了？“from FlagEmbedding import BGEM3FlagModel”这个会花费15s.所以我觉得说不定有什么方法可以让我不要花费这15s。 感谢回复。
原始数据：pair模式的正负样本 rerank微调数据组织方式： 1. 对于正样本，使用难样本采样策略，使用默认参数 2. 对于负样本A-B，构造成{"query": A, "pos": [A], "neg": [B]}，后续也采用难样本采样策略继续补充neg样本；话说这里用大模型生成一个假的正样本A'，效果会好一些吗🤔 这样微调bge-reranker-v2-m3后，训练loss正常下降，但是测试集上指标变化不大；打分表现是分数整体变小，都偏负数 请教下，如果我想保留人工标注的负样本对数据，应该怎么构造reranker的微调数据呢？ 感谢🙏
各位大神好。 我在测试reranker的效率时，发现一个问题。如下： **Reranker源码：`./FlagEmbedding/flag_reranker.py` 测试设备：GPU（A800） 测试数据量：1000条 测试数据的token长度：2048 测试batch：4** 描述：针对 `self.tokenizer` 和 `self.model `进行了时间监控，如图：  测试出来的相关结果如图：  从这个结果来看，仿佛是 文本转token耗时较长（再细致拆分发现，是token从CPU转GPU耗时较长） 但是！当我把`scores = self.model(**inputs, return_dict=True).logits.view(-1, ).float()` 注释之后，在统计效率，理论上总耗时应该就是减去模型的耗时（4秒）。  但是我发现，跑出来的耗时却是：  token转换竟然基本不占时间。 请问下这个是什么情况啊？
Did anyone use Docker to package application related with FlagEmbedding function? I encounter timeout error while downloading embedding model in docker container init process.
配置： !torchrun --nproc_per_node 1 \ -m FlagEmbedding.reranker.run \ --output_dir /bge-reranker-v2-m3-finetune \ --model_name_or_path /bge-reranker-v2-m3/bge-reranker-v2-m3 \ --train_data output.jsonl \ --learning_rate 6e-5 \ --fp16 \ --num_train_epochs 20 \ --per_device_train_batch_size 6 \ --gradient_accumulation_steps 4...
## Description I am working on a blockchain chatbot and applying LLM embedder to retrieve tools and news. However, there is a bottleneck: these retrievals can only be performed with...
您好,之前我微调模型已经完成,融合模型也没有出问题,但是本周使用的时候突然发现,不论FlagEmbedding或者Huggingface的调用都会出现: File "/opt/conda/lib/python3.8/site-packages/FlagEmbedding/flag_reranker.py", line 158, in __init__ self.tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, cache_dir=cache_dir) File "/opt/conda/lib/python3.8/site-packages/transformers/models/auto/tokenization_auto.py", line 814, in from_pretrained return tokenizer_class.from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs) File "/opt/conda/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 2029, in from_pretrained return cls._from_pretrained( File...
https://huggingface.co/BAAI/bge-reranker-v2-m3 该模型支持多语言，请问中文场景，是否沿用 ```prompt = "Given a query A and a passage B, determine whether the passage contains an answer to the query by providing a prediction of either 'Yes' or...
