中文Tinybert的训练

[isbada]

看HuggingFace上公布了中文的预训练模型https://huggingface.co/huawei-noah/TinyBERT_4L_zh

请问有用Tinybert做中文蒸馏的相关资料吗，比如说data aug阶段用了什么词向量替换Glove？相关参数是如何设置的？

[zwjyyc]

你好！ 中文没有涉及词向量替换的问题，因为tokenization之后基本上是单个字。