关于 flash attention版本导致 VOVNet 为backbone的收敛问题

[nancy618618]

想请问一下，当flash attention版本从 0.2 切换到 2.0, stream_petr_vov_flash_800_bs2_seq_24e (Vovnet为backbone) 收敛会有问题，loss和grad norm会出现 NAN的情况，导致这个的原因是什么呢，谢谢。