segment
segment copied to clipboard
Published
20 hours ago •
zepen
zepen
基于神经网络的中文分词器
基于 word2vec + LSTM 的分词器
一、项目环境
开发环境: centos7, python3.5.0
依赖python库: flask.1.0.2, keras.2.1.5, gensim.3.2.0, tensorflow.1.4.1, nltk.3.2.5, sklearn.0.19.1, pandas.0.21.0, h5py.2.8.0 gevent.1.3.6
(windos系统需要安装 psutil.5.4.0;注意keras和tensorflow版本对应,版本不对可能会无法正常运行)
二、脚本说明
1.train_lstm.py 用于训练lstm模型
2.train_word2vec.py 用于训练word2vec词向量
3.serve_run.py 用于启动预测服务
三、执行顺序
step_1. 先执行train_word2vec.py 进行词向量训练
step_2. 再执行train_lstm.py 训练lstm模型
step_3. 最后启动 serve_run.py 服务
四、模型结构
通过调用get_model_structure函数查看
五、超参说明
| 超参数 | 参数说明 |
|---|---|
| word_dim | 词向量长度 |
| max_len | 最大窗口 |
| hidden_units | 隐藏节点数 |
| batch_size | 批量训练数据大小 |
| epochs | 迭代次数 |
| val_loss | 验证集上损失函数值 |
| val_acc | 验证集上模型准确率 |
六、模型评估
| word_dim | max_len | hidden_units | batch_size | epochs | val_loss | val_acc |
|---|---|---|---|---|---|---|
| 100 | 7 | 100 | 128 | 20 | 0.2038 | 92.7% |
| 100 | 7 | 512 | 128 | 30 | 0.1003 | 96.5% |
zepen