TensorflowASR icon indicating copy to clipboard operation
TensorflowASR copied to clipboard

Published 20 hours ago • verified publisher icon Z-yq

关于标点恢复模型OOV的问问

Open uloveqian2021 opened this issue 2 years ago • 3 comments

您好，我在使用标点恢复模型时，发现存在未登录词的情况，我看词表里没有“unk” 这样的字符， 对于不存在字表里的中文字会报错

uloveqian2021 avatar Jun 29 '22 05:06 uloveqian2021

可以将没有的词先剔除掉，得到标点结果后，再插入

Z-yq avatar Jun 29 '22 05:06 Z-yq

可以将没有的词先剔除掉，得到标点结果后，再插入

好的，谢谢，方便问一下大佬用的是哪一个数据集训练的模型吗

uloveqian2021 avatar Jun 29 '22 07:06 uloveqian2021

NLP 的开源数据集

Z-yq avatar Jun 29 '22 07:06 Z-yq