Documentation icon indicating copy to clipboard operation
Documentation copied to clipboard

讨论:traced_module feature 如何更好地被用户感知

Open ChaiByte opened this issue 3 years ago • 3 comments

Module -> Traced Module (下简称 tm) .tm -> dump .mge -> lite 将作为当前首推的一种训推流程,但目前的文档内容似乎还不足以让已经习惯了 Module -> dump .mge -> lite 流程的用户感知到 tm 的存在。 @CaoWGG 已经基于 tm 文档做了一些改进,但目前整个文档的情景连通性依然不足,其实不应该只依赖修改 tm 文档的内容来完成目标,可能需要对已有的文档内容进行补充拓展,希望在这个 Issue 中讨论具体的做法。

已经感受到的需求:

  • Module 用户指南中,需要提到 tm, 将其视作一种进阶情景
  • 当前的模型保存与加载用户指南中,需要提到 tm, 并显式说明相较原做法的好处
  • dump 用户指南中,需要提到 tm

ChaiByte avatar Dec 16 '21 08:12 ChaiByte

疑惑点,“发版” 这个词是否是 模型部署的通用黑话(软件工程、项目管理中确实有这个说法),我第一次听到这个概念的时候觉得很懵逼,而且容易搞混。如果是内部黑话,建议换成更加通用的词汇。

ChaiByte avatar Dec 16 '21 08:12 ChaiByte

Module -> Traced Module (下简称 tm) .tm -> dump .mge -> lite 将作为当前首推的一种训推流程,但目前的文档内容似乎还不足以让已经习惯了 Module -> dump .mge -> lite 流程的用户感知到 tm 的存在。 @CaoWGG 已经基于 tm 文档做了一些改进,但目前整个文档的情景连通性依然不足,其实不应该只依赖修改 tm 文档的内容来完成目标,可能需要对已有的文档内容进行补充拓展,希望在这个 Issue 中讨论具体的做法。

已经感受到的需求:

  • Module 用户指南中,需要提到 tm, 将其视作一种进阶情景
  • 当前的模型保存与加载用户指南中,需要提到 tm, 并显式说明相较原做法的好处
  • dump 用户指南中,需要提到 tm
  1. 嗯嗯,Module 部分要介绍一下 TracedModule,明确 TracedModule 和 Module 的区别在于哪。
  2. 保存和加载的时候,感觉需要明确针对不同情况,保存不同的模型。在有源码的环境可以 save module 、state_dict 或 TracedModule,无源码的环境需要 save TracedModule。最终部署可以 dump 为 c++ 模型。
  3. 我理解 jit.trace 和 dump 的输入是一个可以执行的 function 或 module 的一个计算序列,并将这个计算序列转为静态图的 c++ 模型保存。在 TracedModule 本质就是一个 Module 的情况下,感觉无需将 TracedModule 和 Module 分裂的太大???

CaoWGG avatar Dec 16 '21 11:12 CaoWGG

疑惑点,“发版” 这个词是否是 模型部署的通用黑话(软件工程、项目管理中确实有这个说法),我第一次听到这个概念的时候觉得很懵逼,而且容易搞混。如果是内部黑话,建议换成更加通用的词汇。

@MegChai 我觉得”发版“这个词汇是我们所推荐的最佳应用实践中的一个环节,对应到英语里面就是 release,可以保留(如果需要我们另外写一个名词介绍页面)

xxr3376 avatar Dec 17 '21 02:12 xxr3376