deepvac icon indicating copy to clipboard operation
deepvac copied to clipboard

由上游PyTorch引入的问题

Open gemfield opened this issue 3 years ago • 0 comments

DeepVAC把这些问题划分为两类:

  • 阻塞性问题;
  • 可以绕过的问题。

阻塞性问题

  • 在DDP模式中,训练任务不支持再开启trace和script。解决方案:等待上游PyTorch添加新功能;
  • 量化感知训练(QAT)不支持图模式,因此需要手工修改网络,参考https://zhuanlan.zhihu.com/p/349019936 所述。解决方案:等待上游PyTorch添加新功能;
  • 开启script_model_dir + static_quantize_dir得到的量化模型,在运行时报错(trace_model_dir + static_quantize_dir似乎没有问题)。解决方案:等待上游PyTorch的fix;
  • 图模式量化下,emit upsample的问题;

可以绕过的问题

  • 静态库没有安装到install目录下的问题;
  • nccl_static、kineto库的问题;
  • 静态编译下,导出变量不能包含cuda共享库的问题;

gemfield avatar Feb 09 '21 02:02 gemfield