词典里不支持单个字的分词么

[yren]

比如: 在 user.dict 加入一条单字分词 "药 3"

对 text "药品" 的分词测试，只有一个 token "药品"。

希望得到两个, token "药" 和 token “药品”

请问可以在字典里加入单字，对这个单字分词么

[sing1ee]

是既有单字，也有词的分词么？

[yren]

是的，有单字，也有词的分词。比如:

药 3 药品 3

这种没有对 "药" 分词。

[yren]

另外，如果自定义词典里的词有包含关系，分词处理似乎也有问题。比如:

反渗透膜 3 反渗透膜元件 3

对于文本。"实验用反渗透膜元件"， 期待的分词后有 "反渗透膜", "反渗透膜元件" 两个 token， 但实际上只有 "反渗透膜元件" 一个 token

[sing1ee]

@yren 试试修改分词的模式，采用index的方式，不要采用search的方式

[yren]

嗯，使用的是 index 方式 (jieba_index) , 但还是存在上述问题

[sing1ee]

@yren jieba的python版本，有试验过么？或者jieba-analysis的版本，试一下

[yren]

我有时间试一下。 这些是 jieba ES plugin 的 dependency 是吧

[sing1ee]

@yren 主要是 jieba-analysis，python版本的jieba的java实现。

[huster-songtao]

这个问题一直都存在