bigbird中文预训练模型

简介

• BigBird是由google与2020年发表的模型结构，利用稀疏注意力机制，把二次依赖关系降为线性依赖，因此更适合做长文本任务。
• 本项目使用transformers库，CLUE开源语料，预训练中文版本BigBird模型，并借助huggingface社区分享，如果对您有用，欢迎star项目。

预训练步骤

1. 提取文本长度在512-1024的文本(tiny、mini、small);提取文本长度在512-4096的文本(base、wwm-base)
2. jieba分词，按照词频创建字典(tiny、mini、small、base);用chinese-roberta-wwm-ext原版字典(wwm-base)
3. 掩词预训练(tiny、mini、small、base)；WWM掩字预训练(wwm-base)

使用

• tiny、mini、small、base

import jieba_fast
from transformers import BertTokenizer
from transformers import BigBirdModel

class JiebaTokenizer(BertTokenizer):
    def __init__(
        self, pre_tokenizer=lambda x: jieba_fast.cut(x, HMM=False), *args, **kwargs
    ):
        super().__init__(*args, **kwargs)
        self.pre_tokenizer = pre_tokenizer

    def _tokenize(self, text, *arg, **kwargs):
        split_tokens = []
        for vocab in self.pre_tokenizer(text):
            if vocab in self.vocab:
                split_tokens.append(vocab)
            else:
                split_tokens.extend(super()._tokenize(vocab))
        return split_tokens

model = BigBirdModel.from_pretrained('Lowin/chinese-bigbird-tiny-1024')
tokenizer = JiebaTokenizer.from_pretrained('Lowin/chinese-bigbird-tiny-1024')

• wwm-base

from transformers import BertTokenizer
from transformers import BigBirdModel

model = BigBirdModel.from_pretrained('Lowin/chinese-bigbird-wwm-base-4096')
tokenizer = BertTokenizer.from_pretrained('Lowin/chinese-bigbird-wwm-base-4096')

模型详见Huggingface Model Hub

模型训练参数

wwm预训练流程

• 1. 加载chinesee-roberta-wwm-ext
• 2. 初始化512-4096部分的position embedding
• 3. 修改dataset处理
• 4. 开始预训练

下游finetune效果

clue分类任务

finetune参数

acc

推断平均用时（ms）

• onnx量化单核cpu推断平均用时（ms）
• Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz

参考

https://github.com/huggingface/blog/blob/master/notebooks/01_how_to_train.ipynb