snownlp icon indicating copy to clipboard operation
snownlp copied to clipboard

情感分析训练过程中会对停用词做处理吗?

Open notastudio opened this issue 6 years ago • 2 comments

谢谢大佬的项目.想请教一下,我用于训练的数据集是未去除停用词的原始数据, SnowNLP 在训练过程中会自行筛去停用词吗?还是说我要在训练前自行预处理,去除停用词?

notastudio avatar Nov 16 '18 06:11 notastudio

谢谢大佬的项目.想请教一下,我用于训练的数据集是未去除停用词的原始数据, SnowNLP 在训练过程中会自行筛去停用词吗?还是说我要在训练前自行预处理,去除停用词?

看作者的原始碼應該是有的,有經過一個handle函式處理掉停用字,你可以把套件整包下載下來,去看原始碼,情緒分析部分在'sentiment'這個資料夾裡面

maotingyang avatar Dec 14 '18 04:12 maotingyang

谢谢大佬的项目. 想请教一下, 我用于训练的数据集是未去除停用词的原始数据, SnowNLP 在训练过程中会自行筛去停用词吗? 还是说我要在训练前自行预处理, 去除停用词?

看作者的原始碼應該是有的,有經過一個 handle 函式處理掉停用字,你可以把套件整包下載下來,去看原始碼,情緒分析部分在'sentiment'這個資料夾裡面

谢谢,确实在代码里读到了去除停用词相关的代码. (o゚▽゚)o

notastudio avatar Dec 16 '18 02:12 notastudio