fnlp/moss-moon-003-sft-int4 量化版本 报错

[937739823]

File "/root/.cache/huggingface/modules/transformers_modules/fnlp/moss-moon-003-sft-int4/30d8a4be19ce413bb2a5bab4bfb75f125010ec06/custom_autotune.py", line 93, in run self.cache[key] = builtins.min(timings, key=timings.get) TypeError: '<' not supported between instances of 'tuple' and 'float'

[Hzfinfdu]

报错的triton版本是什么呢？

[937739823]

triton==2.0.0

[Hzfinfdu]

triton的实现在配置不足的情况下会引起这样的问题。现在这个PR已经被并入triton的主分支，可以尝试使用其源码安装

[Lennon-cheng]

triton的实现在配置不足的情况下会引起这样的问题。现在这个PR已经被并入triton的主分支，可以尝试使用其源码安装

源码安装后是Triton 2.1.0 但是会报如下错误

AttributeError: module 'triton.compiler' has no attribute 'OutOfResources'

[Lennon-cheng]

修改代码 为下文，可跑通 except: # triton.compiler.OutOfResources: return float('inf')

[shihzenq]

请问解决了吗

[937739823]

请问解决了吗

解决了，在windows上不行，ubuntu18.04 我试的也不行，我换成centos7.5 就跑起来了。