PaddleFleetX icon indicating copy to clipboard operation
PaddleFleetX copied to clipboard

disable kernel promotion for amp traning

Open zhangting2020 opened this issue 2 years ago • 1 comments

背景:过去框架AMP在O2模式下,当OP支持低精度就会选择低精度的kernel,但这样的策略出现精度问题的风险较高。为保障训练精度,框架在2.5版本对AMP 策略进行了调整,即在O2模式下,仅当Op所有输入为低精度时才会选择低精度kernel,否则则采用FP32 Kernel(即promote的策略),因此可能会引起部分模型出现性能下降。

目前可以通过给auto_cast设置use_promote=False参数来回退到旧版本的O2策略,本PR给套件添加该参数的设置功能,当前套件默认设置为use_promote=False,使用的是旧版本的O2策略,以解决性能下降问题。

PaddlePaddle框架动态图下默认的行为是use_promote=True,未来可以根据模型特点进行调试。

框架PR:https://github.com/PaddlePaddle/Paddle/pull/53742

zhangting2020 avatar May 15 '23 12:05 zhangting2020

CLA assistant check
All committers have signed the CLA.

CLAassistant avatar Sep 25 '24 03:09 CLAassistant