lmdeploy icon indicating copy to clipboard operation
lmdeploy copied to clipboard

qos模块源码有问题

Open ghntd opened this issue 9 months ago • 2 comments

在最新版本的lmdeploy/serve/qos_engine/qos_engine.py第82行看起来应该是stream_response=True而不是源码中的true,不然true会被赋值给gen_config,导致报错。

ghntd avatar May 09 '24 14:05 ghntd