inference时间运行时间差异很大

[zhouzhubin]

@yangxue0827 大佬，你好。我在测试图片的时候，怎么inference时间运行时间差异很大，这是什么原因？我有的图片是100多毫秒，有的就直接成500ms了。我是自己的数据集，我对数据的处理是先resize成800*800的图片的，并不是滑框式的。

[zhouzhubin]

@yangxue0827 你好，我把那个500多毫秒的图片单独复制了好多份，然后在inference，发现时间又变成了100多毫秒？这是怎么回事啊！！！！

[yangxue0827]

前期波动大，运行一段时间会稳定？ @zhouzhubin

[zhouzhubin]

@yangxue0827 不是的，一直运行这一张图片，它的时间差异就不大，如果前面穿插其他的图片，时间就会变成五百。现在发现训练在100000之前的模型，inference的时间还是比较稳定的，在训练到后面的话，inference的时间就不太稳定，还有就是ADD_ATTENTION，使用或不使用，都会造成inference波动很大。

[zhouzhubin]

@yangxue0827 这个工程能用tensorflow servering来部署吗？我把模型用tf.saved_model.simple_save来保存，然后起servering，起不来，会报错

[yangxue0827]

我没有这方面的经验 @zhouzhubin

[zhouzhubin]

@yangxue0827 恩恩，好的，谢了！我也训练了，基于mobilenetv2的，我是自己的数据集，感觉露检挺严重的，我应该怎么提升训练？请问你在dota上的精度怎么样？

[zhouzhubin]

@yangxue0827 这个就是测试图片的时间，同一个场景下的图片，检测目标也是一样的，但是inference时间差异也很大，同一张照片也是这样的，这个是什么原因引起的？

[zhouzhubin]

@yangxue0827 大佬，你好！还有一个训练上的问题，有时候训练了十几万步，但是在inference的时候，一个目标都检测不出来，看tensorbord里面，loss都是下降的，就是每一千步所保存的预测图片，也都是没有检测结果的，这种情况也出现了蛮多次了。我是用自己的数据集，就是有时候训练有结果，有时候又没有，感觉完全碰运气一样。

[LinnaWang76]

@zhouzhubin 你这个应该是BN的问题。