关于sr这个参数有一些问题想请教一下大佬

[zhangxiaohuixuhao]

首先非常感谢作者开源该项目代码。 其次有以下几个问题请教一下大佬：

1. "sr的选择需要根据数据集调整，可以通过观察tensorboard的map，gamma变化直方图等选择"，关于这句话的理解不是很深刻，能不能麻烦大佬给解释一下。
2. sr这个参数使用作者给出的“0.001”，但是对于自己的数据集会出现train.py训练的准确率与train_sparsity.py训练的准确率不相同，调小准确率会上升，具体的原因是什么呢？ 做的几个实验以及实验的截图，如下： sr=0.001--->0.0001 sr=0.0001--->0.00001 sr = 0.00001---->0.000001 MPA50的统计分别是

[midasklr]

1. sr是稀疏正则项的系数, 当稀疏训练map和baseline差距较大,可以适当调小sr;当稀疏收敛过快,如图一,也需要适当调小. map和剪枝之前需要trade off, 这个要看你实际需要.
2. 我这里选用的0.001,是因为我数据集很简单,只有2k图片, 如果你的数据集很大,而且batch size设置的很小,那么你迭代的次数很多,每次迭代都会进行一次稀疏, 所以如果你迭代的次数很多(大数据集,或者batch size很小),可以设置小一点sr例如1e-4 等.

[zhangxiaohuixuhao]

好的，谢谢大佬，给大佬递茶

[midasklr]

好的，谢谢大佬，给大佬递茶

我只是渣渣...

[big-xiao]

请问bn_weights一定要在0附加吗，就类似于上面的图片那样，我稀疏训练后的分布变化不是很大，从权重分布从1->0.8，这这种情况可以剪枝吗

[503092317]

请问bn_weights一定要在0附加吗，就类似于上面的图片那样，我稀疏训练后的分布变化不是很大，从权重分布从1->0.8，这这种情况可以剪枝吗

你的稀疏率sr 太小了 调大多试几次

[Nwaf-sl]

请问bn_weights一定要在0附加吗，就类似于上面的图片那样，我稀疏训练后的分布变化不是很大，从权重分布从1->0.8，这这种情况可以剪枝吗

大佬，请问下你这个bn层权重的可视化软件是什么呢

[503092317]

可视化使用的tensorboard，作者代码都写好了，我也是使用

[Nwaf-sl]

不好意思，我问的是这种可视化图片

[503092317]

不好意思，我问的是这种可视化图片

这种可视化图片也是从tensorboard中导出的，具体怎么画你需要参考作者代码

[Nwaf-sl]

不好意思，我问的是这种可视化图片

这种可视化图片也是从tensorboard中导出的，具体怎么画你需要参考作者代码 好的，十分感谢

[silenterA2]

2. 如果你的数据集很大,而且batch size设置的很小,那么你迭代的次数很多,每次迭代都会进行一次稀疏, 所以如果你迭代的次数很多(大数据集,或者batch size很小),可以设置小一点sr例如1e-4 等.

大佬，我稀疏化设为sr-0.5，变化还不是很明显，这该怎么办？VOC数据集，周期450，每个周期变化只有一点点。

[puyiwen]

1. sr是稀疏正则项的系数, 当稀疏训练map和baseline差距较大,可以适当调小sr;当稀疏收敛过快,如图一,也需要适当调小. map和剪枝之前需要trade off, 这个要看你实际需要.
2. 我这里选用的0.001,是因为我数据集很简单,只有2k图片, 如果你的数据集很大,而且batch size设置的很小,那么你迭代的次数很多,每次迭代都会进行一次稀疏, 所以如果你迭代的次数很多(大数据集,或者batch size很小),可以设置小一点sr例如1e-4 等.

大佬，我想问一下这个稀疏训练是从头开始重新训练吗？可不可以加载我已经训练好的模型进行稀疏化训练？