eval-scope icon indicating copy to clipboard operation
eval-scope copied to clipboard

指定模型API评估支持SGLang嘛

Open dgzxx-2000 opened this issue 7 months ago • 2 comments

export VLLM_USE_MODELSCOPE=True && python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-0.5B-Instruct --served-model-name qwen2.5 --trust_remote_code --port 8801

dgzxx-2000 avatar May 17 '25 02:05 dgzxx-2000

evalscope对接的是OpenAI API兼容的API接口,服务引擎是SGLang,VLLM,OLLAMA等,或者是云上的API都是可以的。

yingdachen avatar May 17 '25 03:05 yingdachen

evalscope对接的是OpenAI API兼容的API接口,服务引擎是SGLang,VLLM,OLLAMA等,或者是云上的API都是可以的。

了解,非常感谢您的回答

dgzxx-2000 avatar May 19 '25 02:05 dgzxx-2000

感谢你的反馈!我们将关闭此问题。如果您有任何疑问,请随时重新打开它。如果EvalScope对您有所帮助,欢迎给我们点个STAR以示支持,谢谢!

Yunnglin avatar Jun 04 '25 06:06 Yunnglin