Dual-Path-RNN-Pytorch icon indicating copy to clipboard operation
Dual-Path-RNN-Pytorch copied to clipboard

Published 20 hours ago • verified publisher icon JusperLee

为什么去掉Conv-TasNet的skip-connection部分？

Open StarrySilence1 opened this issue 3 years ago • 2 comments

想知道Conv-TasNet为什么不保留原论文中的skip-connection部分呢？

StarrySilence1 avatar Mar 03 '22 10:03 StarrySilence1

最近在尝试改动Conv-TasNet,看了github上不同作者的实现，发现都没有使用论文中的skip-connnection。自己在加入skip-connection之后发现网络就很难收敛了。 另一方面：最近在研究Conv-TasNet是否能通过不基于mask，而是直接生成语音的方式来分离音频。基于cln和gln会损失输入的尺度信息，我把所有LN层都改为了BN层，同时依照提出BN层的论文，BN层应该放在activation函数之前，将Normalization层提前了。同时也保留了skip-connection。发现网络基本不收敛，想请教一下是否有什么明显的问题？

StarrySilence1 avatar Mar 03 '22 11:03 StarrySilence1

  1. 加入skip-connection：性能应该不会下降太多。 2.对于regression的方法，我没有做过这种尝试，你可以尝试将encoder后的feature与估计的feature相加试一下。

JusperLee avatar Mar 03 '22 15:03 JusperLee