eval-scope
eval-scope copied to clipboard
指定模型API评估支持SGLang嘛
export VLLM_USE_MODELSCOPE=True && python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-0.5B-Instruct --served-model-name qwen2.5 --trust_remote_code --port 8801
evalscope对接的是OpenAI API兼容的API接口,服务引擎是SGLang,VLLM,OLLAMA等,或者是云上的API都是可以的。
evalscope对接的是OpenAI API兼容的API接口,服务引擎是SGLang,VLLM,OLLAMA等,或者是云上的API都是可以的。
了解,非常感谢您的回答
感谢你的反馈!我们将关闭此问题。如果您有任何疑问,请随时重新打开它。如果EvalScope对您有所帮助,欢迎给我们点个STAR以示支持,谢谢!