jieba
jieba copied to clipboard
并行和加入自定义词典的调用顺序对自定义词典的载入有很大的影响
jieba.enable_parallel()
jieba.load_userdict("./aux/dict")
如上所示,如果先开启并行,再载入自定义词典,会导致自定义的词典没有产生效果
如果先载入自定义词典再进行并行计算开启,自定义词典就是有效的,不知道这算不算bug
确实如此。 先开启并行,再载入自定义词典。此时,从jieba.dt.get_FREQ和jieba.dt.user_word_tag_tab中都能查到用户词典中的词,说明已导入用户词典中的词,但分词结果中并未产生效果。
这是bug吧?同遇到了,定位了半天问题,求修复啊
多进程jieba分词,jieba.load_userdict()应该写在哪,写进切分函数里面吗