DiffSynth-Studio icon indicating copy to clipboard operation
DiffSynth-Studio copied to clipboard

OOM in HunyuanVideo24G

Open rorrewang opened this issue 1 year ago • 3 comments

此前我已经在我自己的4060ti16g上成功运行你们的6G版本,因为我们公司的服务器上使用V10032G显卡,因此我尝试在我们公司的显卡上运行24G版本,但是报错torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 1263.35 GiB. 这里一千多g过于离谱,因此我想问问是什么问题。你们能再验证一下24G版本有没有问题吗?

rorrewang avatar Jan 02 '25 02:01 rorrewang

又运行了6g版本还是OOM感觉是我的模型传输有问题了,重新下载看看。

rorrewang avatar Jan 02 '25 02:01 rorrewang

俺也一样

JerryLuYujie avatar Jan 03 '25 08:01 JerryLuYujie

可能是 torch 版本的问题,在低版本 torch 上,attention 实现会从 flash attention 2 回滚到 naive attention,建议升级到最新版本

Artiprocher avatar Jan 13 '25 07:01 Artiprocher