tommyjex
Results
1
comments of
tommyjex
遇到同样的问题，求答案。 量化后，除了显存占用降低，GPU使用率不会下降，基本都在100%，而推理速度有2倍以上的降低。 不符合预期。