Way

Results 1 comments of Way

我也遇到的同样的问题。 考虑的解决方法是词库里中英文混合词,不做wwm策略了。 代码修改: get_new_segment函数里的 if segment_str in seq_cws_dict: 改成 if segment_str in seq_cws_dict and len(re.findall('[a-zA-Z]', segment_str))==0: 原因举例: bert分词:'顺', '利', '的', '无', '创', 'dna' jieba分词:'顺', '##利', '的', '无', '##创', '##dna' 再往后,bert词库里没有...