oneflow
oneflow copied to clipboard
layer_norm_grad for npu
因为 NPU GPT2 测试场景下,layer_norm 都是 affine 的,为减少 CANN 调用,对 layer_norm_grad 进行重构。在一个 kernel 内完成 gamma,beta,dx 的梯度计算。