RTX3080+WSL成功运行模型量化部分代码，错误总结如下。

[SitaraJin]

1、首先量化模型用到triton库，所以只能在linux环境推理，我用的是wsl，装了ubuntu22.04。直接pip install triton也会报错，默认安装的版本带了post1后缀，运行后面的代码也会报错，所以安装时指定triton版本pip install triton==2.0.0 。 2、解决triton问题之后，运行如果出现python.h相关问题的话，需要执行安装sudo apt-get install python3.8-dev 。 3、另外试过更改moss_cli_demo.py 和oss_gui_demo.py的模型引用地址，都会报错，错误为缺少index.json文件，非量化模型是有不同的checkpoint的，所以文件夹会比量化模型多一个索引文件，这个问题待解决。 把目前记得的问题先记录下来，如果有相同配置的朋友出现其他问题，可以留言交流。

[do1234521]

用python3.9 直接pip安装，没有任何错误

[do1234521]

index.json问题，使用https://blog.csdn.net/genghaojie123/article/details/130357804的方法可以解决，但是需要部署在cpu上，去掉了.cuda问题重新出现，不知道有没有解决方法

[SitaraJin]

用python3.9 直接pip安装，没有任何错误

主要是他说明文档的下载安装部分指定了3.8，所以其实python版本没啥影响...

[SitaraJin]

index.json问题，使用https://blog.csdn.net/genghaojie123/article/details/130357804的方法可以解决，但是需要部署在cpu上，去掉了.cuda问题重新出现，不知道有没有解决方法

找到了这个修改方法，你可以试试，我机器内存不够所以没跑完。 https://blog.csdn.net/genghaojie123/article/details/130357804

[linonetwo]

https://github.com/linonetwo/MOSS-DockerFile

我在 dockerfile 里把这些问题都解决了,相关笔记 https://onetwo.ren/wiki/#调研GPU上运行的语言模型

[lin-cop]

表示遇到过其中的一些问题，感觉这个模型的测试还不够好多问题