Jiagu icon indicating copy to clipboard operation
Jiagu copied to clipboard

用自定义字典分词的时候总是人名中的间隔号分割掉

Open mojibiz00 opened this issue 5 years ago • 1 comments

用自定义字典分词的时候总是人名中的间隔号部分分割掉。分词的够细的了。比如比尔·克林顿的话,要把他的名字不分开

mojibiz00 avatar Aug 06 '20 02:08 mojibiz00

这个故意这样的,有利于深度学习模型的训练,也就是有利于后期的应用啦。

发自我的iPhone

------------------ 原始邮件 ------------------ 发件人: mojibiz00 <[email protected]> 发送时间: 2020年8月6日 10:26 收件人: ownthink/Jiagu <[email protected]> 抄送: Subscribed <[email protected]> 主题: 回复:[ownthink/Jiagu] 用自定义字典分词的时候总是人名中的间隔号分割掉 (#59)

用自定义字典分词的时候总是人名中的间隔号部分分割掉。分词的够细的了。比如比尔·克林顿的话,要把他的名字不分开

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

ownthink avatar Aug 06 '20 02:08 ownthink