如何使用vllm加速bge-reranker-v2-minicpm-28

Open chiosChen opened this issue 1 year ago • 3 comments

您好，请问是否可以使用vllm来加速bge-reranker-v2-minicpm-28的推理？

Mar 18 '24 05:03 chiosChen

目前还不能使用vllm来加速bge-reranker-v2-minicpm-28的推理，您可以尝试设置参数use_bf16=True或use_fp16=True来加速推理

Mar 19 '24 03:03 545999961

vllm是支持minicpm推理的。理论上来说如果vllm支持输出logits的话应该能适配吧

Apr 11 '24 09:04 315930399