lmdeploy
lmdeploy copied to clipboard
[Docs] AWQ / GPTQ 部分
📚 The doc issue
文档里面提到打开 search-scale 和 batch-size 可以提高精度,想问一下打开和默认关闭 search-scale 是有什么区别呢,我看了一下代码,我的理解是 search-scale 使用了 grid-search 类似论文中的 AWQ,而默认关闭是走的是 SmoothQuant 么,还是减去了网格搜索的过程,默认 scale = 0.5,因为打开 search-scale 后精度有一些下降,因此想问一下,谢谢解答
Suggest a potential alternative/fix
No response