lac
lac copied to clipboard
词典中加入单词对分词影响的一个bug
在字典加入的单词中以已有单词的后一个字开头的新单词,与已有单词放一起分词时会有问题!
例如: 马达加斯加普通话版 (字典中加入 马达加斯加/ip 加普/star 普通话版/other)
分词结果为: 马达加斯 加 普通话版
张继科比赛 (字典中加入 张继科/star 科比/star)
分词结果:张继 科比 赛