rerope icon indicating copy to clipboard operation
rerope copied to clipboard
verified publisher icon bojone

运行 test.py 显存爆了

Open liyi-ff opened this issue 2 years ago • 3 comments

请问苏神的GPU配置是什么？ 我两个A100 80G 直接运行python test.py 显存爆了， 也没找出原因

liyi-ff avatar Aug 17 '23 15:08 liyi-ff

我把upcast to fp32 注释掉就好了，两个GPU各用了70GB内存。 有一点疑惑就是为什么这里inference需要这么多显存？ HuggingFace 上的例子就用了15GB/GPU， 是因为这里处理的文本过长的原因吗？

liyi-ff avatar Aug 17 '23 15:08 liyi-ff

我是在8*A800上测试的。我对torch不了解，坦白说我也很困惑为啥它会消耗这么多显存...

bojone avatar Aug 19 '23 09:08 bojone

我把upcast to fp32 注释掉就好了，两个GPU各用了70GB内存。 有一点疑惑就是为什么这里inference需要这么多显存？ HuggingFace 上的例子就用了15GB/GPU， 是因为这里处理的文本过长的原因吗？

有复现的代码吗

mmmans avatar Sep 01 '23 12:09 mmmans