FlagEmbedding
FlagEmbedding copied to clipboard
如何使用vllm加速bge-reranker-v2-minicpm-28
您好,请问是否可以使用vllm来加速bge-reranker-v2-minicpm-28的推理?
目前还不能使用vllm来加速bge-reranker-v2-minicpm-28的推理,您可以尝试设置参数use_bf16=True或use_fp16=True来加速推理
vllm是支持minicpm推理的。理论上来说如果vllm支持输出logits的话应该能适配吧