如何提升推理速度

[xhs111]

我在本地试用bge-reranker-base模型推理三条数据平均花了2.8秒，我的cpu是i5-7500，请问有提升推理速度的方法吗，如果要升级硬件配置，大概什么样的配置能达到推理十条数据在两秒之内呢

[staoxiao]

可以使用一些加速方法，如转成onnx: https://github.com/FlagOpen/FlagEmbedding/issues/400 使用hugginface的加速库：https://github.com/huggingface/text-embeddings-inference