analysis-ik icon indicating copy to clipboard operation
analysis-ik copied to clipboard

Published 20 hours ago • verified publisher icon infinilabs

添加词库【茶π】不生效

Open jasonsoso opened this issue 5 years ago • 5 comments

词库里面已经添加【茶π】，可是IK分词出来的只有【茶】，π被过滤掉了，我还发现比如@这些关键词也被过滤掉了，请教一下大神

jasonsoso avatar Jun 20 '19 08:06 jasonsoso

添加词库后，对已存在的条目需要重建索引。你可以试一试，新插一条带有茶Π的句子，看分词是否生效

QingGo avatar Jun 20 '19 16:06 QingGo

我也试过把茶π添加到词库，分词会把茶和π分开

liangzhimingcp3 avatar Jul 07 '19 06:07 liangzhimingcp3

看了 IKAnalyzer 的代码实现，它无法处理汉字字符和非汉字字符混合成词的情况。其内部针对 CJK 字符和英文字母分别实现了子分词器（ CJKSegmenter, LetterSegmenter），每种子分词器只接受预设的字符，CJKSegmenter 只处理中日韩字符，LetterSegmenter 只处理英文字母、数字及部分标点符号。导致的结果是，汉字和英文字母一定会被分开，即使词典加了词条也没用。

gzcf avatar Apr 15 '20 07:04 gzcf

我也好奇怎么做到。同求

NingerJohn avatar Jan 19 '21 04:01 NingerJohn

求 “大S” “宝马i3” 加入自定义词条，怎么做生效 #697

faeli avatar Jun 06 '21 13:06 faeli