analysis-ik
analysis-ik copied to clipboard
自定义扩展词后,max_word丢词
我的理解是,自定义扩展词之后,如果输入扩展词,smart分词器会将其分为一个完整的词,而ik_max_word除了将输入词分为完整的词外,还会额外细分。
以下是验证: 将词语”阿苯达唑干糖浆“添加至扩展词库。
ik_smart分词结果:["阿苯达唑干糖浆"] ik_max_word分词结果:["阿苯达唑干糖浆","阿苯达唑","阿苯","达","唑","干","糖浆"]
现在输入一个词(未加入扩展词库):"非布司他片"… ik_smart分词结果:["非","布","司","他","片"] ik_max_word分词结果:["非","布","司","他","片"]
之后将"非布司他片"添加到扩展词库… ik_smart分词结果:["非布司他片"] ik_max_word分词结果:["非布司他片"]
ik_max_word出现丢词情况,只是将输入词完整切分,而没有再进行细粒度切分了。
你是什么版本了,我没有遇到这种情况