InternVL icon indicating copy to clipboard operation
InternVL copied to clipboard
Published 3 months ago • verified publisher icon OpenGVLab

OpenGVLab/InternViT-6B-448px-V1-5如何多卡运行

Open GITRMG opened this issue 1 year ago • 4 comments

单卡最大16g，示例代码跑不起来，使用了CUDA_VISIBLE_DEVICES=1,0或export CUDA_VISIBLE_DEVICES=0,1都还是默认单卡运行，请问16+12够运行吗，如何多卡运行呢

GITRMG avatar Apr 24 '24 13:04 GITRMG

要A100 80GB 才可以单卡运行

lihan avatar Apr 25 '24 05:04 lihan

感谢反馈，我们正在解决这个问题。

czczup avatar Apr 26 '24 17:04 czczup

感谢反馈，我们正在解决这个问题。

您好，请问运行vit-6b最少需要多少显存呢，需要A100 80g才可以运行吗，想单独运行来做ocr

GITRMG avatar Apr 26 '24 17:04 GITRMG

感谢反馈，我们正在解决这个问题。

您好，请问运行vit-6b最少需要多少显存呢，需要A100 80g才可以运行吗，想单独运行来做ocr

如果是bf16的话，需要16G+的显存，int8大概8G+；不过单独用vit还做不了ocr，需要额外接上ocr的识别头。

czczup avatar May 08 '24 17:05 czczup