SongNet

SongNet copied to clipboard

如何在预训练模型的基础上进行微调训练？

1

您好，我在调用预训练模型时，由于其vocab与歌词数据集的vocab不一致，导致无法在其上进行微调训练。 请问如何解决这个问题

selyu504

论文里列出了很多标准，包括 rhyme, tpl 等相关 loss，但是代码中真正做 backpropagation 的好像只有 nll/ppl。 我想请问下预训练的过程中，这些 格式、韵律 相关的 Loss 有做计算和backpropagation吗？ 另外，论文中提到 Beam Search 方法生成，代码中只有在 test.py 里出现过，我想请问下是尝试过 TopK 生成效果优于 BeamSearch 吗？为什么在做 polish 的时候不选择 BeamSearch ?

MianWang123

E_c+E_p+E_s 在H和F中都有出现，可不可以考虑 将H改成 H = E_w + E_g，使得H的信息更加简单，容易解耦，同时网络并不会损失E_c，E_p，E_s的信息？

jackbyebye