swift icon indicating copy to clipboard operation
swift copied to clipboard

Published 20 hours ago • verified publisher icon modelscope

怎么做 batch infer 来提高显卡利用率呢?

Open thesby opened this issue 1 month ago • 1 comments

我使用 llava 72B 推理时，batch_size=1 显卡利用率不高，怎么可以使用大 batch 推理提高利用率呢？我没有使用 vllm，是直接使用的 swift 推理 https://github.com/modelscope/swift/blob/main/docs/source/Multi-Modal/llava%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md

thesby avatar May 20 '24 14:05 thesby