可以使用国产的npu运行吗？比如昇腾的300v pro

[wangyiyong]

Is your feature request related to a problem? Please describe.

可以使用国产的npu运行吗？比如昇腾的300v pro

Solutions

可以使用国产的npu运行吗？比如昇腾的300v pro

Additional context

可以使用国产的npu运行吗？比如昇腾的300v pro

[czas09]

同求，有人尝试部署过吗

[duzx16]

没有对应的硬件所以没法测试。理论上只要能运行pytorch，那么都可以运行非量化的模型（量化的模型有部分代码是用CUDA写的）

[chouife]

看到作者刚刚回复了，我想顺便问下为什么config里面的eos_token_id和tokenizer中的eos_token_id不一致了？

[duzx16]

看到作者刚刚回复了，我想顺便问下为什么config里面的eos_token_id和tokenizer中的eos_token_id不一致了？

这个问题已经修复了。另外，请不要在issue中提无关的问题。

[aogg]

npu +1 主要是npu的主机很便宜，看过都心动

[umbraclet16]

没有对应的硬件所以没法测试。理论上只要能运行pytorch，那么都可以运行非量化的模型（量化的模型有部分代码是用CUDA写的）

实测在国产化环境(飞腾2500 cpu)未量化模型输出正常，int4模型输出乱七八糟的内容。

不太理解如果量化部分代码是cuda写的，为什么x86+cpu正常，arm+cpu就不行？使用cpu时逻辑不是一样的吗。问题在quantization_kernels.c文件吗？

[zhangqijun]

ascend 910测试可以运行，但是由于动态尺寸问题，体验不太好

[OrdinaryChen]

没有对应的硬件所以没法测试。理论上只要能运行pytorch，那么都可以运行非量化的模型（量化的模型有部分代码是用CUDA写的）

实测在国产化环境(飞腾2500 cpu)未量化模型输出正常，int4模型输出乱七八糟的内容。

不太理解如果量化部分代码是cuda写的，为什么x86+cpu正常，arm+cpu就不行？使用cpu时逻辑不是一样的吗。问题在quantization_kernels.c文件吗？

int4 的模型输出一直有问题 前段时间我用3588输出也是乱码