opencompass icon indicating copy to clipboard operation
opencompass copied to clipboard

[Feature] 调用本地模型服务,如何修改配置

Open qqqqqwwwweeerr1gmail opened this issue 6 months ago • 2 comments

我域内有机器部署了vllm 的 Qwen2-7b 的模型服务,我想调用该机器的模型服务,可以直接curl就能访问到服务,请问如何部署评测。

qqqqqwwwweeerr1gmail avatar Aug 06 '24 12:08 qqqqqwwwweeerr1gmail