NPU out of memory

[fallbernana123456]

我在昇腾910B上部署完成，python inference/cli_demo.py 时报错： hidden_states = F.scaled_dot_product_attention( RuntimeError: NPU out of memory. Tried to allocate 35.31 GiB (NPU 0; 60.97 GiB total capacity; 26.13 GiB already allocated; 26.13 GiB current active; 33.81 GiB free; 26.61 GiB reserved in total by PyTorch)

那这个需要在多大的NPU上才能运行呢？有什么办法可以降低对NPU的要求吗？

[zRzRzRzRzRzRzR]

36g是GPU的，没有测试过NPU的这是消耗了多少G了

[ql390962]

我在昇腾910B上部署完成，python inference/cli_demo.py 时报错： hidden_states = F.scaled_dot_product_attention( RuntimeError: NPU out of memory. Tried to allocate 35.31 GiB (NPU 0; 60.97 GiB total capacity; 26.13 GiB already allocated; 26.13 GiB current active; 33.81 GiB free; 26.61 GiB reserved in total by PyTorch)

那这个需要在多大的NPU上才能运行呢？有什么办法可以降低对NPU的要求吗？

可以分享一下部署相关的资料吗，我在晟腾官网没有找到支持CogVideox的信息。

[zyang6]

请问这个问题解决了吗，我在昇腾npu上部署也发生了一样的问题，不知道是哪里出问题了