Documentation icon indicating copy to clipboard operation
Documentation copied to clipboard

MegEngine 量化文档内容改进收集 & 追踪

Open CaoWGG opened this issue 3 years ago • 4 comments

需要添加

  1. 如何创建一个量化的 Tensor
  2. 量化训练时支持哪些量化类型
  3. dump quantized 模型时哪些 op 支持哪些量化类型

CaoWGG avatar Dec 01 '21 08:12 CaoWGG

量化文档中对 QuantStub 和 DeQuantStub 描述较少,用户非常容易忽略这两个 Module 的重要性(控制哪里量化,哪里不量化的)。

需要在量化文档中增加这两个 Module 的介绍和用法例子(虽然目前文档中给出了 resnet18 的例子链接,但似乎用户并不会点进去看,点进去看也淹没在大段的代码中了)。

CaoWGG avatar Jan 10 '22 08:01 CaoWGG

Hi @CaoWGG 这个季度(Q2)有计划整一整 量化 这一整块文档吗?可以拉用户和相关人员先简单交流一下,争取先动起来。

目前收到比较多的吐槽是:量化整个 Model 的情景还是不太常见的,更多时候仅仅需要量化指定类型的 Op 就能取得不错的效果。以及这个 Issue 中已经记录的内容,感觉都是很值得改进的点。好消息是,我们的量化文档目前在 Google 搜索 量化 关键词,也可以取得比较靠前的排名。

ChaiByte avatar Apr 06 '22 11:04 ChaiByte

@MegChai Q2 有计划扩展 MegEngine 量化模块,并完善量化相关的文档内容。

CaoWGG avatar Apr 06 '22 12:04 CaoWGG

  • 混合量化怎么更方便的做,用户是不是要显示的插入量化算子,告诉用户那些op支持多少bit,以及能在哪个平台上inference
  • 怎么定义某些层应该共用量化参数

ChaiByte avatar Apr 11 '22 06:04 ChaiByte