sitara24

运行量化版本安装triton失败

6

在安装triton时老是提示下面两个错误： ERROR: Could not find a version that satisfies the requirement triton (from versions: none) ERROR: No matching distribution found for triton 查了下，网上回答是triton包不支持windows...这个能不能注释一下...或者有没有哪位大神有编译好的whl包？目前只找到适用于python3.10的，这里又要求python3.8

RTX3080+WSL成功运行模型量化部分代码，错误总结如下。

6

1、首先量化模型用到triton库，所以只能在linux环境推理，我用的是wsl，装了ubuntu22.04。直接pip install triton也会报错，默认安装的版本带了post1后缀，运行后面的代码也会报错，所以安装时指定triton版本pip install triton==2.0.0 。 2、解决triton问题之后，运行如果出现python.h相关问题的话，需要执行安装sudo apt-get install python3.8-dev 。 3、另外试过更改moss_cli_demo.py 和oss_gui_demo.py的模型引用地址，都会报错，错误为缺少index.json文件，非量化模型是有不同的checkpoint的，所以文件夹会比量化模型多一个索引文件，这个问题待解决。 把目前记得的问题先记录下来，如果有相同配置的朋友出现其他问题，可以留言交流。