noahbentusi

如何微调，能让模型支持汉语拼音呢? 或者支持 读音提示?

15

最终需求是，在一篇文章，需要对某个字的读音 纠正改音。 最一开始，我是尝试在text-normalize阶段用同音字替换，发现很多字音没有 独音字。 比如 一拍两散, 有时候会错误读成 3声，而不是4声。 然而san4，没有独音字。没办法做同音字替换。 所以，我又试着用训练微调让模型认识sàn这个汉语拼音音节。 于是，我基于examples/magicdata_read的例子，做了这样的数据集 train: pinyin_san4.txt (内容为: sàn) pinyin_san4.wav (sàn的语音) dev和test内容与train一致 然后，训练200个epoch。 训练出来的模型, 可以正确读出单次出现的sàn。但是放到中文句子 (他们在昨晚的争执之后就一拍两sàn了) 中就非常不正常了。 是数据集设计的不正确吗? 我这种需求，该用什么方法来实现呢？ 谢谢，诸位大佬。