open-compass
[Feature] 使用OpenAISDK请求时并行请求
Describe the feature
假设我有4个显卡，分别使用vllm部署了4个7b的不同的模型，我期望它可以并行请求这些模型。而不是请求完第一个的全部评测，才去请求第二个。
Will you implement it?
- [ ] I would like to implement this feature and create a PR!
OpenAI SDK is agnostic to the inference backend. You can use vllm or sglang to serve different models, then start an OpenCompass task with models in config consisting of the details of each model.
OpenAI SDK 与推理后端无关。您可以使用 vllm 或 sglang 来服务不同的模型，然后使用
models包含每个模型详细信息的配置启动 OpenCompass 任务。
但是他实质上是串行的。我测试我部署了多个vllm service。分别使用不同的显卡，监控这些vllm服务的日志会发现，他创建了4个task，但是是先执行第一个task全部结束才执行第二个。因此4个vllm服务同时只有一个在更新日志。
OpenAI SDK 与推理后端无关。您可以使用 vllm 或 sglang 来服务不同的模型，然后使用
models包含每个模型详细信息的配置启动 OpenCompass 任务。
我尝试了使用opencompass启动离线版的vllm，和我使用vllm serve部署http。均得到了相同的结果。最终我是用docker启动了4个opencompass任务每个对应一个vllm才真正并行执行task
The --debug flag will result in the disabling of parallel execution. It is advisable to attempt removing this flag.
The
--debugflag will result in the disabling of parallel execution. It is advisable to attempt removing this flag.
SO important info......
