蒸馏的效果没有直接用数据训练TextCNN的效果好？

[czhxiaohuihui]

我在自己的数据集上试了一下，bert的效果大概是85%，textCNN是79%， 然后用蒸馏大概只有77.8%. 蒸馏相关的两个参数都是按照你代码里的： self.T = 10 # 调整温度 self.alpha = 0.9 # 调整soft_target loss 和 hard_target loss 比重

[xxllp]

我本地跑的textcnn模型效果是可以提升的 textcnn 模型90% Bert 95% 最终textcnn的效果接近bert

[murray-z]

调下参吧，我也是写了代码，没有训练测试过