PaddleSpeech icon indicating copy to clipboard operation
PaddleSpeech copied to clipboard
verified publisher icon PaddlePaddle

s2t项目中asr1 如何在训练时预加载提供的conformer预训练模型？

Open wangdabee opened this issue 3 years ago • 2 comments

asr1项目中 想在自己的数据集上进行训练 想加载提供的conformer预训练模型进行参数初始化并冻结一些层，请问如何修改源码？

wangdabee avatar Jul 27 '22 01:07 wangdabee

https://aistudio.baidu.com/aistudio/projectdetail/438026 冻结一些layer

SmileGoat avatar Jul 27 '22 06:07 SmileGoat

参考的解决方案：

  1. 确定哪些层不需要冻结：一般认为只有最后的 projection 层不用冻结
  2. 在 projection 之前的层（encoder最后一层，decoder最后一层）设置 stop_gradient 来冻结参数

Jackwaterveg avatar Jul 27 '22 09:07 Jackwaterveg