Rasa_NLU_Chi icon indicating copy to clipboard operation
Rasa_NLU_Chi copied to clipboard

有关spaCy + sklearn与mitie+sklearn的问题

Open nacyzhaomin opened this issue 6 years ago • 8 comments

您好~ 最近看rasa_nlu官方文档,上面写pipline有多种选择方式,除了作者您描述的两种以外,有一种推荐是: Best for most: spaCy + sklearn 问题是:这个组合+jieba能用来处理中文吗?不了解spaCy,所以想问问作者,当初为什么选择jieba+mitie+sklearn。而不是上面这种组合呢?谢谢

nacyzhaomin avatar Mar 02 '18 09:03 nacyzhaomin

这个项目做的时候,spacy是不支持中文的。spacy 2.0加入了对word embedding和深度学习模型的支持,但应该也仍然不支持中文。使用MITIE的原因是可以比较方便自己生成支持中文的embedding.

crownpku avatar Mar 02 '18 09:03 crownpku

rasa_nlu在12.0开始取消MITIE了,本项目下一步计划怎么办?

luolitao avatar Mar 23 '18 14:03 luolitao

https://github.com/howl-anderson/Chinese_models_for_SpaCy

有位兄弟在搞SpaCy的中文模型,目前使用的是维基中文语料,不过目前还不支持NER, 但是RASA_NLU的pipline: spaCy + sklearn,测试中文是可以的。

HCIS2020 avatar Jun 01 '18 05:06 HCIS2020

@HCIS2020 你是说用这个spaCy的中文模型可以运行rasa_nlu吗?

zymprogramer avatar Jul 11 '18 14:07 zymprogramer

https://github.com/howl-anderson/Chinese_models_for_SpaCy 已经支持 NER, 同时也支持在 Rasa NLU 中使用。 @HCIS2020 @zymprogramer

howl-anderson avatar Sep 10 '18 09:09 howl-anderson

https://github.com/howl-anderson/Chinese_models_for_SpaCy

有位兄弟在搞SpaCy的中文模型,目前使用的是维基中文语料,不过目前还不支持NER, 但是RASA_NLU的pipline: spaCy + sklearn,测试中文是可以的。

大数据集的时候快不,我用这个NER MITIE慢死了,官方也说大数据集很慢,但的确精确。

jingj5 avatar Jul 03 '20 10:07 jingj5

https://github.com/howl-anderson/Chinese_models_for_SpaCy 已经支持 NER, 同时也支持在 Rasa NLU 中使用。 @HCIS2020 @zymprogramer

666,我去试试,看快不快

jingj5 avatar Jul 03 '20 10:07 jingj5

@jingj5 SpaCy 官方已经支持了中文模型,直接使用官方的就好了

howl-anderson avatar Jul 03 '20 10:07 howl-anderson