Yao Yimeng

同提，amis切片上传现在还不支持。我看能不能写个pull来吧。

简单的解决方式是把custom_autotune.py拷贝到~/.cache/huggingface/modules/transformers_modules/local 或任意Python import的根目录下都可，复杂的方法就去修复quantization.py里面的引用问题。 我看最新的commit改了这块。 把模型放在model文件夹下应该是可以的。

P40 24G显存吧 应该能跑int8量化模型。

我这刚才在4090-24G上跑了int8模型 可以跑，单词对话占用内存再19G左右。