mixed precision 학습 관련

[laetokang]

❓ Questions & Help

Transducer (RNN-T, Conformer-T) 계열 모델로 학습하려고 하는데 학습 시간이 오래 걸려서 mixed precision 사용하려고 합니다.

계속 아래와 같은 에러가 발생하는데, Transducer 모델은 이 방법을 사용할 수 없는걸까요?

RuntimeError: Input and parameter tensors are not the same dtype, found input tensor with Float and parameter tensor with Half

Details