analysis-ik icon indicating copy to clipboard operation
analysis-ik copied to clipboard

自定义扩展词后,max_word丢词

Open yeziblo opened this issue 3 years ago • 1 comments

我的理解是,自定义扩展词之后,如果输入扩展词,smart分词器会将其分为一个完整的词,而ik_max_word除了将输入词分为完整的词外,还会额外细分。

以下是验证: 将词语”阿苯达唑干糖浆“添加至扩展词库。

ik_smart分词结果:["阿苯达唑干糖浆"] ik_max_word分词结果:["阿苯达唑干糖浆","阿苯达唑","阿苯","达","唑","干","糖浆"]

现在输入一个词(未加入扩展词库):"非布司他片"… ik_smart分词结果:["非","布","司","他","片"] ik_max_word分词结果:["非","布","司","他","片"]

之后将"非布司他片"添加到扩展词库… ik_smart分词结果:["非布司他片"] ik_max_word分词结果:["非布司他片"]

ik_max_word出现丢词情况,只是将输入词完整切分,而没有再进行细粒度切分了。

yeziblo avatar Mar 03 '21 11:03 yeziblo

你是什么版本了,我没有遇到这种情况 image

chenws1012 avatar Jun 07 '22 05:06 chenws1012