AMP 支持哪些算子

Open zh794390558 opened this issue 3 years ago • 1 comments

AMP 支持哪些算子，不支持哪些算子，目前有什么限制？

Mar 04 '22 02:03 zh794390558

@zh794390558 目前代码已经适配了，至于哪些算子不支持，我没有统计过，不过现在开源的 ires50跑的模型算子都支持的。

模型的训练包在了 with paddle.amp.auto_cast(enable=args.fp16): 语句中 https://github.com/PaddlePaddle/PLSC/blob/release/2.2/dynamic/train.py#L213-L215

因此不支持的会自动转成FP32计算

Mar 04 '22 02:03 GuoxiaWang