jieba icon indicating copy to clipboard operation
jieba copied to clipboard

并行和加入自定义词典的调用顺序对自定义词典的载入有很大的影响

Open Levstyle opened this issue 8 years ago • 3 comments

jieba.enable_parallel()
jieba.load_userdict("./aux/dict")

如上所示,如果先开启并行,再载入自定义词典,会导致自定义的词典没有产生效果

如果先载入自定义词典再进行并行计算开启,自定义词典就是有效的,不知道这算不算bug

Levstyle avatar Nov 15 '17 02:11 Levstyle

确实如此。 先开启并行,再载入自定义词典。此时,从jieba.dt.get_FREQ和jieba.dt.user_word_tag_tab中都能查到用户词典中的词,说明已导入用户词典中的词,但分词结果中并未产生效果。

gaoyangthu avatar Nov 27 '17 03:11 gaoyangthu

这是bug吧?同遇到了,定位了半天问题,求修复啊

vell001 avatar Jan 05 '18 08:01 vell001

多进程jieba分词,jieba.load_userdict()应该写在哪,写进切分函数里面吗

wwfcnu avatar Feb 28 '23 02:02 wwfcnu