MXuer

> 测试了一下noisy-moe在decoder的性能， 感觉跟大模型一样，用在decoder的表现会更好 > > encoder-decoder的moe我显存不够跑不了，还需要各位大佬来验证一下效果了 > > ctc_prefix_beam_search att_rescoring > U2++-baseline 5.80% 5.06% > Normal Gate-Encoder 5.60% 5.23% > Noisy Gate(decode)-Encoder 5.62% 5.27% > Noisy Gate(only train)-Encoder 5.62% 5.27%...

> > > 测试了一下noisy-moe在decoder的性能， 感觉跟大模型一样，用在decoder的表现会更好 > > > encoder-decoder的moe我显存不够跑不了，还需要各位大佬来验证一下效果了 > > > ctc_prefix_beam_search att_rescoring > > > U2++-baseline 5.80% 5.06% > > > Normal Gate-Encoder 5.60% 5.23% > > >...