FlagEmbedding

FlagEmbedding copied to clipboard

请问BAAI / bge-reranker-base 模型转为onnx怎么只有分类前的部分？

14

# BAAI / bge-reranker-base 模型转为onnx的疑问 如题，当我转换huggingface上提供的模型为onnx时，生成的onnx模型在运行时只输出logits，而不是分类的分数。 ## 转换代码如下 ```python import torch from transformers import BertForSequenceClassification import onnx from transformers import AutoModel import logging logging.basicConfig(level=logging.DEBUG) device = torch.device('cuda:0' if torch.cuda.is_available() else...

Gcstk

Onnx Support for BGE-M3

6

Hey there, thank you guys for sharing the model as well. I was curious, are there any plans to support onnx for this model?

vinchg

Thank you for sharing the M3 model with the community! This is a welcome direction, where you can get multiple representations from the same model! One comment and two questions...

jobergum

BGE-M3 混合搜索如何配合向量库使用呢？

1

根据技术文档中提到的数据，采用三种方式联合检索的情况下有明显的性能优势。我不太理解这里的混合搜索如何和向量库一起使用。 如果是 RAG 应用，存在大量的文本，是需要提前做嵌入的。这时候是先按 Dense 向量存储，查询的时候先粗筛 TopK * n 然后再对粗筛的数据应用混合搜索筛选出 TopK，再对 TopK 应用 Rerank ? 希望能得到您的解答，非常感谢🙏

Littlecowherd

BGE性能测试

1

作者您好，请问BGE有相关的性能测试报告吗，大概每秒多少token 或 样本 非常感谢您的回答！

lyzltysgithub

BGE-M3 不管是CPU还是GPU运行都很慢，这个怎么解决

4

下面代码运行很慢，一次向量化需要17秒，不管是CPU还是GPU都很慢，请问这个怎么解决 ``` from multiprocessing import freeze_support from FlagEmbedding import BGEM3FlagModel import time def main(): model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True) # Setting use_fp16 to True speeds up computation with a slight performance...

JavaTribe

mkqa 是如何转换成检索数据集的

5

MKQA本身数据集并不包含corpus，请问是如何和nq的corpus做对应的呢

afalf

请问有没有类似m3e的api调用方式？

6

请问有没有类似m3e的api调用方式？

0902081008

为什么我跑文档中的例子，输出了四个数

1

  如上图所示，这个结果代表什么意思？

AWangji

支持中英文双语的模型？

22

您的模型是按照语言分为了bge-large-en、bge-large-zh，但我测试了bge-large-zh也能很好地对英文计算相似度。想确认一下bge-large-zh是否支持中英文双语？如果支持，bge-large-zh在英文数据集上测试的效果如何？

knowledge-llz