Jerryme-xxm

自己运行的精度比readme里的低

2

大佬您好，首先感谢您的分享。我运行了一下这份代码，主要跑了mobilevit和mobilenet两个网络，目前有一些问题想问您。 1，直接下载原代码，不改网络结构与参数，得到的精度和readme里的表格有差距。 Mobilevit_s，第160个epoch时，train_acc:0.931（表格中是98.83%）；valid_acc:0.906（表格中是92.50%），再继续训练发生过拟合，精度下降。 Mobilevit_xs，第160个epoch时，train_acc:0.925（表格中是98.22%）；valid_acc:0.895（表格中是91.77%） Mobilenet v1，train_acc:0.891； valid_acc:0.869（表格中是89.18%） 我用的GPU是Nvidia 1080Ti，不知道为什么精度会差这么大，请问您得到这些结果，每个网络用的参数是什么？ args.py文件里下载下来时是resnet20。resnet20倒是比表格中的好一点，valid_acc:0.906（表格中是89.72%），可能是因为您刚好跳的这个网络？ 2，我尝试自己调试了下，按照mobilevit原项目的参数，把lr改成0.01，weight-decay改成1e-5，依然表现很差 mobilevit_xxs,train_acc:0.984 (表格中是96.4%）； valid_acc:0.870（表格中是90.17%）； 3，这个问题并不是很重要，就是我跑mobilenet v2的时候，发现训练速度很慢，比mobilevit都慢很多，gpu利用率只比mobilevit高一点点。train_acc:0.989 ，valid_acc:0.899也比表格低 我跑这个项目的目的是为了压缩mobilevit，所以我进行了一些其他实验，只是调调参，还没有使用蒸馏剪枝等操作。如果您有兴趣，可以探讨一下吗？ 我试过把mobilevit里的mobilenet v2模块改成了mobilenet v1,试过改patch_size（2，2）到（4，4），试过把残差消掉，试过改heads数量（这里您使用heads=1，dimheads=32，不知道您怎么考虑的，那篇复现mobilevit的博客用的heads=4，dimheads=8）。 总之不管我怎么改，精度都在0.87左右，甚至于我把mobilevit block里的transformer去掉，参数量由1014672变成了339408，精度还是0.863. 很抱歉写这么多打扰您，但是我水平有限，实在搞不懂原因。期待您的回复。

询问部署到MobileNet上的问题

2

您好，最近我想试试部署adder到mobilenet v2网络里，但是遇到了点问题，请问可以帮我解答吗。 我用这里的源码（训练参数对齐）跑resnet，精度和report里差不多。但是当我把mobilenet v2的pointwise层（depthwise要改为群卷积，准备等pointwise没问题再改）替换成adder-conv2d后，精度会有2%的下降。 我没有替换开头和末尾两层。请问精度下降2%会是什么原因呢？ 会不会是残差的问题，需要每一层都有残差吗（mobilenet v2若是stride=2或维度变化，就没有残差了）？

About the inference time

1

Thanks for your great work! These days I try to compress MobileVit, and reduce the FLOPs and parameters, but the inference time almost doesn't change. Only when I remove some...