InternVL icon indicating copy to clipboard operation
InternVL copied to clipboard

请问InternVL3的环境和2.5的一致吗?

Open XCF-Mike opened this issue 8 months ago • 3 comments

XCF-Mike avatar Apr 22 '25 03:04 XCF-Mike

Hi, 是的

lll2343 avatar Apr 24 '25 07:04 lll2343

Hi, 是的

谢谢您的回复,还想再请问一下,我现在使用8张80G的H800推理InternVL3-78B,但是还是发生了OOM问题,使用的脚本为主页quick start中以InternVL2.5-8B为例子的脚本

XCF-Mike avatar Apr 29 '25 09:04 XCF-Mike

那应该是你模型都加载到了一张卡上,其他7张卡应该是空的,需要配置多卡

lll2343 avatar Apr 29 '25 11:04 lll2343