jieba icon indicating copy to clipboard operation
jieba copied to clipboard

词性标注的分词和Tokenize分词不一致?

Open jiffies opened this issue 9 years ago • 4 comments

import jieba.posseg as pseg words = pseg.cut(text)

result = jieba.tokenize(text) 发现对text的分词有些不同,比如“抄的”在前面就是一个词,第二种就是2个词.请问哪里出了问题?

jiffies avatar Nov 16 '15 07:11 jiffies

我也发现这个问题了,没人回复啊

zhouygg avatar Dec 17 '15 01:12 zhouygg

@jiffies , poseg和jieba.cut使用的模型不一样,所以分词的效果有差别。

fxsjy avatar Dec 17 '15 01:12 fxsjy

哪个好呢? 

StevenLOL avatar Dec 18 '15 00:12 StevenLOL

如过我想词性标注的同时还标记出他在文中的位置,该怎么办呢

1qingqing1 avatar Jun 28 '21 06:06 1qingqing1