Evaluate TinyBERT on Chinese tasks

[letiantony]

TinyBERT在中文上效果如何呢？请问后续还是开放中文版的预训练模型吗？

[TanyaZhao]

同问，感谢！

[zyy-g]

模型已上传到https://huggingface.co/huawei-noah/TinyBERT_6L_zh 和 https://huggingface.co/huawei-noah/TinyBERT_4L_zh。 模型效果可以参考中文Clue评测榜单，四层模型结果基本与tinynezha四层结果持平，六层模型经过蒸馏的效果与12层老师模型相差1%左右

[failable]

@zyy-g 这两个是general还是task-specific?是哪个task？

[zyy-g]

这两个是general模型

---Original--- From: @.> Date: Sun, May 23, 2021 16:01 PM To: @.>; Cc: @.@.>; Subject: Re: [huawei-noah/Pretrained-Language-Model] Evaluate TinyBERT on Chinese tasks (#108)

@zyy-g 这两个是general还是task-specific?是哪个task？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[LiuChiachi]

模型已上传到https://huggingface.co/huawei-noah/TinyBERT_6L_zh 和 https://huggingface.co/huawei-noah/TinyBERT_4L_zh。 模型效果可以参考中文Clue评测榜单，四层模型结果基本与tinynezha四层结果持平，六层模型经过蒸馏的效果与12层老师模型相差1%左右

您好！我想请教一下，中文的tinybert的教师模型是哪个呢？谢谢！

[zyy-g]

老师模型使用的是谷歌提供的Bert-base，理论上用更好的老师模型蒸馏可以获得更好的效果。------------------ 原始邮件 ------------------ @.> 发送时间: 2021年5月25日(星期二) 下午4:02 @.>; @.@.>; 主题: Re: [huawei-noah/Pretrained-Language-Model] Evaluate TinyBERT on Chinese tasks (#108)

[LiuChiachi]

老师模型使用的是谷歌提供的Bert-base，理论上用更好的老师模型蒸馏可以获得更好的效果。------------------ 原始邮件 ------------------ @.> 发送时间: 2021年5月25日(星期二) 下午4:02 @.>; @.@.>; 主题: Re: [huawei-noah/Pretrained-Language-Model] Evaluate TinyBERT on Chinese tasks (#108)

Thanks!