Hakeyi

> > Hi, that was my mistake. The teacher is initialized by pretrained BERT (well-read student). But using fine-tuned teacher should be able to achieve similar performance. > > First...

好像还是bn层的问题 试试将batch_norm_decay设置的小一点，我改成0.95后就正常了，网上搜了很多，好像是那个参数太大，需要很长时间warm up，你可以试着把在训练的时候打印出均值和方差看看，是不是在更新 ---原始邮件--- 发件人: "jerryhero" 发送时间: 2019年4月25日(星期四) 晚上10:12 收件人: "PanJinquan/tensorflow_models_learning"; 抄送: "Author";"Hakeyi"; 主题: Re: [PanJinquan/tensorflow_models_learning] 单张图片测试时，所有图片预测结果相同 (#8) 我也出现了这个问题， 用自己训练好的模型测试，在测试集上单张图片测试结果相同。 拿之前的验证集测试，如果batch size设为1 预测结果同测试集一样，都是以同样的概率预测为同一个类别，但batch size不为1 比如调整为64 模型就预测正常，这是为什么呢 我也出现了这个问题，请问你找到解决方法了吗？ — You are...

> > 好像还是bn层的问题 试试将batch_norm_decay设置的小一点，我改成0.95后就正常了，网上搜了很多，好像是那个参数太大，需要很长时间warm up，你可以试着把在训练的时候打印出均值和方差看看，是不是在更新 > > 还想问下，你用这个项目的代码，有碰到训练好模型后，加载保存的模型用predict.py做预测时，对同一个样本每次运行predict.py预测的结果一直在改变的情况吗？我用作二分类时，预测结果包含类别及值均会发生变化。 > > 我看到predict.py中有sess.run(tf.global_variables_initializer())这一行，是不是预测时加入了随机因素？ 不会吧 你预测的时候是在保存的模型参数下预测啊

> @Hakeyi 你好，我训练的时候也遇见了这个问题，训练自己的二分类数据，训练过程正常，测试图片时却全是一类结果，想问一个除了调节batch_norm_decay外，还可以怎么做，我调成0.95后还是错误 @jerryhero @PanJinquan 你确定把is_training设置成false了吗