igiraffe
Results
1
comments of
igiraffe
> > 慢是可以理解的，但为什么int4反而比fp16慢，还慢得很明显？ > > 解决了吗? 我也发现了这个问题，量化的比float16慢 慢很多，同一台机器大概慢30%