FlagEmbedding
FlagEmbedding copied to clipboard
FlagOpen
Retrieval and Retrieval-augmented LLMs
非常感谢贵公司的FlagEmbedding安装包。我在用llm_instruction_reranker的时候遇到一个问题。 问题在于下面这个方法，他来自：https://github.com/FlagOpen/FlagEmbedding/blob/13da7435aba2c4cfbbd7caa4c595fe4862f6ba19/FlagEmbedding/llm_reranker/finetune_for_instruction/trainer.py#L9C2-L29C1 我按照https://github.com/FlagOpen/FlagEmbedding/issues/749 里面的内容注释了这三行代码： `if not self.use_lora: super()._save(output_dir, state_dict) return ` 但是在使用AutoModelForCausalLM加载训练好的模型的时候，仍然会报错说： Some weights of the model checkpoint at /models_hf/bge-reranker-sft/zhihu_qa_llm_1/ were not used when initializing GemmaForCausalLM: 不知道是哪里出了问题呢？
bge-multilingual-gemma2是一个基于LLM的模型，从调用方法上来说，需要输入提示词，这个和一般的embedding模型不一样，请问这个能带来什么优势吗，是否可以拿一个场景举例说明一下呢？
我从 https://huggingface.co/BAAI/bge-reranker-v2-m3 拷贝粘贴了 第一段代码, 在我的mac m2 机器上跑 ``` from FlagEmbedding import FlagReranker reranker = FlagReranker('BAAI/bge-reranker-v2-m3', use_fp16=True) # Setting use_fp16 to True speeds up computation with a slight performance degradation ......
微调bge-reranker时，出现如下log，虽然没有报错，但这个是什么问题呢 ``` [93m [WARNING] [0m async_io requires the dev libaio .so object and headers but these were not found. [93m [WARNING] [0m async_io: please install the libaio-devel package with yum...
请问样例中的评分预期值为多少，测试后发现数值经常在-10左右。 transformer=4.44.2 FlagEmbedding=1.2.10 `from FlagEmbedding import LayerWiseFlagLLMReranker` `reranker = LayerWiseFlagLLMReranker('/root/dataDisk/rerank/bge-reranker-v2-minicpm-layerwise', use_fp16=True)` `score = reranker.compute_score(['query', 'passage'], cutoff_layers=[28])` `print(score)` 结果-7.03125
Hello. I'm trying to estimate how much GPU equipment is needed to serve a `bge-reranker-v2-m3` fp16 reranker model. We plan to input about **23 documents** with a **chunk size of...
While Fine-Tuning the embedding using the eval_msmarco.py script. I keep getting this Value Error. I am running this script on colab on T4 GPU Please check the output below. ```...
我希望用bge-m3做自然语言推理任务，就是输入[前提，假设]，做一个三分类，分类得到假设和前提的关系是[蕴含，无关，矛盾]中的一者。 我觉得这个自然语言推理任务可以用来缓解RAG场景大模型的幻觉问题，因为RAG检索到的大段文档全都让LLM去理解的话，LLM很容易产生幻觉，就是其【输出的内容】与【供它参考的上下文】矛盾或者无关。 请问有相关的经验或者建议吗？可以为我指个路吗？我目前简单地用bge计算嵌入的余弦相似度，用高相似度代表蕴含，低相似度代表无关，感觉这种方法的效果很一般。NLI任务在中文方面的工作不多，中文语料也很少，如果自己训练分类器的话大概是什么样的路径呢？或者有别的基于bge实现NLI的方法吗？ 万分感谢。
