pkuseg-python

pkuseg-python copied to clipboard

自定义词典，没有对词性可以标注的地方，建议以键值对的方式，可以进行标注。

cyneck

分词速度相比jieba、ltp（python版）还是相差约8倍左右

2

分词速度相比jieba、ltp（python版）还是相差约8倍左右？如何改进？

snakecy

不起作用：在使用默认词典的同时会额外使用用户自定义词典

1

user_dict 设置用户词典。 "default", 默认参数，使用我们提供的词典。 None, 不使用词典。 dict_path, 在使用默认词典的同时会额外使用用户自定义词典，可以填自己的用户词典的路径，词典格式为一行一个词。 你好，在user_dict里面有一个选项是dict_path, 请问这个怎么用？ user_dict = dict_path? 就是 user_dict = 自定义词典的路径吗？ 但这样用以后发现默认词典的效果没了。 比如 默认词典会识别 “第一次” 使用了dict_path 后 “第一次”被分开成 “第一 次”

wingsyuan

非常好的repository，感谢您的贡献~ 好像很容易将一些词如“哈哈”或“恩”标注为nr `eg: 哈哈 眼神儿真好! [哈哈:nr]` 以及将一些符号标注为n `eg: ....想太多~ [....:nr] [~:n] ` 请问有什么解决办法吗

Icyzrw

希望不要切分英文单词

1

```python import pkuseg seg = pkuseg.pkuseg(model_name='news') text = seg.cut('我特别喜欢Oda先生') print(' '.join(text)) >>> '我 特别 喜欢 O da 先生' ```

TingxunShi

请问新版本有发布计划么？有没有考虑和一些搜索引擎结合？比如elasticsearch之类

Tronyel

如何用自定义语料训练分词和词性标注一体化模型

3

lili1234567890

标点符号应该是分割符吧，现在成词的一部分了，或者说可以自定义某个符号为分隔符吗

6

minzhiguang

请问对于百万级语料训练时内存不够有没有什么优化处理的建议？

2

wittonzhou

can't import feature Extractor

1


LifangD