surya icon indicating copy to clipboard operation
surya copied to clipboard
verified publisher icon datalab-to

是否支持NPU？

Open yungongzi opened this issue 9 months ago • 4 comments

请问是否支持NPU，如昇腾系列显卡上运行呢？

yungongzi avatar Mar 07 '25 07:03 yungongzi

可以简单实现： 1）增加TORCH_DEVICE_MODEL

Image

Image

2）增加default_batch_sizes

Image 相应的需要设置default_batch_sizes的点，需要修改，增加 npu

3）环境 先安装torch cpu版本（以2.1为例，或其他版本） pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

再安装torch npu（以2.1为例，其他需自行测试） pip3 install torch-npu==2.1.0.post8

yungongzi avatar Mar 11 '25 01:03 yungongzi

可以简单实现： 1）增加TORCH_DEVICE_MODEL

Image

Image

2）增加default_batch_sizes

Image 相应的需要设置default_batch_sizes的点，需要修改，增加 npu

3）环境 先安装torch cpu版本（以2.1为例，或其他版本） pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

再安装torch npu（以2.1为例，其他需自行测试） pip3 install torch-npu==2.1.0.post8

请问还需要修改其他地方吗，我在torch 2.6.0上跑不过

liuxiaohan00 avatar Aug 12 '25 08:08 liuxiaohan00

可以简单实现： 1）增加TORCH_DEVICE_MODEL Image Image 2）增加default_batch_sizes Image 相应的需要设置default_batch_sizes的点，需要修改，增加 npu 3）环境 先安装torch cpu版本（以2.1为例，或其他版本） pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu 再安装torch npu（以2.1为例，其他需自行测试） pip3 install torch-npu==2.1.0.post8

请问还需要修改其他地方吗，我在torch 2.6.0上跑不过

torch 2.6.0版本暂时不兼容，用2.5.1版本可以，但是需要再import torch下面加上import torch_npu

liuxiaohan00 avatar Aug 13 '25 08:08 liuxiaohan00

可以简单实现： 1）增加TORCH_DEVICE_MODEL Image Image 2）增加default_batch_sizes Image 相应的需要设置default_batch_sizes的点，需要修改，增加 npu 3）环境 先安装torch cpu版本（以2.1为例，或其他版本） pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu 再安装torch npu（以2.1为例，其他需自行测试） pip3 install torch-npu==2.1.0.post8

请问还需要修改其他地方吗，我在torch 2.6.0上跑不过

torch 2.6.0版本暂时不兼容，用2.5.1版本可以，但是需要再import torch下面加上import torch_npu

Does it work on 310P3?

lixikun avatar Sep 02 '25 06:09 lixikun