FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

微调过的bge-large-zh-v1.5如何批量推理,提高效率

Open liuslab opened this issue 1 year ago • 1 comments

看到有转onxx等的建议,如果不使用

liuslab avatar Sep 10 '24 12:09 liuslab

场景是有大批量的文本句需要推理emb,用于构建向量数据库 看到有转onxx等的建议,如果直接使用FlagEmbedding库,如何更好的开启batch_size等可以提高推理效率?

看到这里似乎有实践,但是不知道能否再出一个示例代码,方便直接调用FlagEmbedding的方式再提高推理效率 https://github.com/FlagOpen/FlagEmbedding/blob/master/examples/search_demo/pre_process.py

liuslab avatar Sep 10 '24 12:09 liuslab