VLMEvalKit icon indicating copy to clipboard operation
VLMEvalKit copied to clipboard

是否支持部署模型,再通过接入api服务的形式测评?或者是否支持NPU环境测评?

Open FWLamb opened this issue 6 months ago • 3 comments

FWLamb avatar Jul 14 '25 09:07 FWLamb

支持的,可以用vllm-ascend部署好,然后走api的形式评测

BrenchCC avatar Jul 24 '25 13:07 BrenchCC

支持的,可以用vllm-ascend部署好,然后走api的形式足球

大佬,有没有代码示例

avaloner1109 avatar Jul 25 '25 09:07 avaloner1109

支持的,可以用vllm-ascend部署好,然后走api的形式足球

大佬,有没有代码示例

vllm_ascend:https://github.com/vllm-project/vllm-ascend.git (it just like normal vllm serve) 看这里 https://github.com/open-compass/VLMEvalKit/blob/main/docs/zh-CN/Quickstart.md 配置好你的base url 和 api_key 跑测试就好了

BrenchCC avatar Jul 25 '25 15:07 BrenchCC