基于神经网络的文本分类

🌐 介绍

一个简单的科研训练项目，基于神经网络的文本分类，为啥不做CV，还不是因为对NLP感兴趣~~(bushi)~~

📥 安装

git clone https://github.com/Lan-ce-lot/pythorch-text-classification.git

🛠 使用

# conda (recommended) to create a new conda env
conda env create -f environment.yaml
# or
conda install --yes --file requirements.txt
# pip
pip install -r requirements.txt

python run.py --model bert

🌏 环境

• python 3.8
• pytorch 1.3.1

💾 数据集

爬取自豆瓣短评 豆瓣改版后加了很反爬机制，爬多了会封ip封号，解决办法：

• 代理ip(免费不能用，要钱买不起)
• 随机时间(>=5s)+随机User-Agent

🚙 模型

• BERT(Bidirectional Encoder Representations from Transformers) ✅
• ERNIE(Enhanced Representation through kNowledge IntEgration) ✅
• RNN(Recurrent Neural Network) 🤡
• CNN(Convolutional Neural Network) 🤡

📊 结果

集成了tensorboard，可以直接在终端查看训练过程

tensorboard --logdir=./data/log/textRNN

BiLSTM和BERT在训练集上的准确率对比 BiLSTM和BERT在训练集上的loss对比

📈 进度

📦 依赖

程序

采用python的pythonQt编写， 设计的两个按钮一个是提交，一个是清空，中间的文本框可用输入文字，左侧会显示情感分析结果，判断积极消极的情感。该程序布局如下图

📚 参考

📝 License

Apache © Lan-ce-lot