lmdeploy icon indicating copy to clipboard operation
lmdeploy copied to clipboard

[Docs] AWQ / GPTQ 部分

Open Skyseaee opened this issue 5 months ago • 1 comments

📚 The doc issue

文档里面提到打开 search-scale 和 batch-size 可以提高精度,想问一下打开和默认关闭 search-scale 是有什么区别呢,我看了一下代码,我的理解是 search-scale 使用了 grid-search 类似论文中的 AWQ,而默认关闭是走的是 SmoothQuant 么,还是减去了网格搜索的过程,默认 scale = 0.5,因为打开 search-scale 后精度有一些下降,因此想问一下,谢谢解答

Suggest a potential alternative/fix

No response

Skyseaee avatar Sep 04 '24 09:09 Skyseaee