FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard
verified publisher icon FlagOpen

希望能使用vllm加速llm reranker

Open ericxk opened this issue 1 year ago • 1 comments

ericxk avatar Aug 15 '24 02:08 ericxk

+1

skycore9 avatar Aug 15 '24 07:08 skycore9

+1

eureka336 avatar Aug 17 '24 14:08 eureka336

+1

Cloopen-ReLiNK avatar Aug 18 '24 08:08 Cloopen-ReLiNK

组内同事帮忙实现了，有一些小改动

ericxk avatar Sep 02 '24 11:09 ericxk

组内同事帮忙实现了，有一些小改动

相比TensorRT和onnx有多大提升啊。 能否提供一下参考代码

EvanSong77 avatar Sep 13 '24 16:09 EvanSong77

组内同事帮忙实现了，有一些小改动

相比TensorRT和onnx有多大提升啊。 能否提供一下参考代码

avg p90 p99等耗时指标降低一半多，收益挺明显的，比预期高（之前以为只返回一个token，耗时优化应该不太明显)，强力推荐

ericxk avatar Oct 17 '24 07:10 ericxk

组内同事帮忙实现了，有一些小改动

相比TensorRT和onnx有多大提升啊。 能否提供一下参考代码

avg p90 p99等耗时指标降低一半多，收益挺明显的，比预期高（之前以为只返回一个token，耗时优化应该不太明显)，强力推荐

可否分享一下示例代码

EvanSong77 avatar Oct 17 '24 08:10 EvanSong77

可否分享一下示例代码 +1

zhouyuustc avatar Jan 20 '25 07:01 zhouyuustc

去用vllm部署吧，现在vllm已经支持bge reranker了

EvanSong77 avatar Jan 20 '25 07:01 EvanSong77

去用vllm部署吧，现在vllm已经支持bge reranker了

有示例代码吗

gaopeiyang avatar Feb 18 '25 08:02 gaopeiyang