LEBERT-基于词汇信息融合的中文命名实体识别模型

项目简介

微信公众号【YeungNLP】文章：LEBERT：基于词汇增强的中文NER模型

LEBERT 是将词汇信息引入到BERT模型中的NER模型， 本项目的目的在于验证LEBERT 模型在中文NER数据集上的表现。分别验证了Bert-Softmax、Bert-Crf、 LEBert-Softmax、LEBert-Crf在Resume、Ontonote、Msra、Weibo四个中文数据集上的表现。

数据集

本项目将四个数据集统一处理成相同的数据格式，每一行表示一条数据。 格式如下：

{"text": ["赵", "伟", "先", "生", "，"], "label": ["B-NAME", "I-NAME", "O", "O", "O"]}

运行环境

python==3.6、transformers==3.1.0、torch==1.10.0

运行下面脚本安装依赖环境：

pip install -r requirements.txt

项目结构

• datasets：存放数据
  • resume
  • msra
  • weibo
  • ontonote4
• losses:损失函数
• metrics:计算NER的评价指标
• models:存放自己实现的BERT模型代码
  • crf.py:存放CRF模型实现
  • lebert.py:LEBER模型实现
  • ner_model.py
• output:输出目录
• pretrain_model：预训练模型存放位置
• processors:数据预处理模型
  • convert_format.py:将原始数据集，整理成统一的json格式
  • dataset.py
  • processor.py:数据处理
  • trie_tree.py：字典树实现
  • vocab.py：字典类
• script：脚本存放位置
• utils:存放工具类
• train.py:训练脚本

使用方法

Quick Start

安装依赖包

pip install -r requirements.txt

运行训练脚本，详见参数说明

bash script/train.sh

实验总结

实验细节

所有模型均使用bert-base-chines 的预训练权重。在训练的时候，batch size均为32， BERT的原始参数的学习率设置为1e-5，LEBERT和CRF所引入的参数的学习率设置为1e-4。对于Ontonote、Msra数据集训练10个epoch， 对于Resume和Weibo数据集训练30个epoch。 原论文的词向量使用的是包含两千万单词的tencent-ailab-embedding-zh-d200-v0.2.0 ， 本项目的词向量使用tencent-ailab-embedding-zh-d200-v0.2.0-s ,其中包含两百万预训练的词向量,维度为200。 本项目将词向量信息在BERT的第一层之后进行融合，并且每个汉字，最多融合3个词向量。

实验结果

各模型在测试集上的指标：

各模型在验证集上的指标：

原论文实验效果：

训练过程分析

训练过程中，模型在验证集和测试集上的F1得分与loss的变化，可以通过output文件夹下查看，运行如下脚本：

tensorboard --logdir ./output 

训练过程中，BERT-Softmax与LEBERT-Softmax在各个测试集上的F1得分的变化曲线如下图：

Resume测试集： Weibo测试集： Msra测试集： Ontonote测试集:

从上面的实验结果和训练过程分析，做一下简单的总结：

• 在四个数据集上，LEBERT均优于BERT，这得益于词汇信息的引入。
• 在四个数据集上，LEBERT-Softmax的指标只比BERT-Softmax提升0.5-1.0个点，没有带来特别大的收益（也可能是训练策略、实现细节、词向量质量的原因）。
• 本项目复现的LEBERT-Softmax模型基本都达到了原论文的水平，并且BERT-Softmax模型在各个测试集上的表现均优于原论文的结果。
• 相比于Softmax解码方式，CRF解码方式有时候会带来更差的效果（可能是因为训练策略的原因，如学习率太小，有待进一步验证）。

模型权重分享

REFERENCE

• https://ai.tencent.com/ailab/nlp/en/embedding.html
• https://github.com/liuwei1206/LEBERT
• https://arxiv.org/abs/2105.07148
• https://github.com/lonePatient/BERT-NER-Pytorch