filter-grafting

filter-grafting copied to clipboard

graft训练mbv2模型没有优化效果

9

你好，非常感谢你的工作，但是我在测试你的方法的时候，始终无法达到你的效果,我验证了不同学习率下ｍｂｖ２网络在cifar-10上的得分，以及cos学习策略下的得分，和使用graft方法后得分，发现graft算法好像没作用（基础模型是92.1，graft是92.28），请问你知道原因吗？所有设置均按照默认设置 学习方式 学习率 精度 文件夹 lr 　　　0.1 92.10 2 lr 　　　　 0.1(2) 94.06 5 lr 　　0.1(10) 90.10 4 lr 　　 0.1(100) 40.90 3 cos 　　 0.1 92.75(92.6) 6 grafting(lr) 　 0.1 92.28 2

scott-mao

Adaptive Weighting公式中的A和c的值为0.4和500是否合适？

3

 ` w=round(0.4*(np.arctan(500*((float(entropy(u).cpu())-float(entropy(checkpoint[key]).cpu())))))/np.pi+1/2,2)` 作者你好，如代码里所示，Adaptive Weighting公式中的A和c的默认值为0.4和500，如果是这样的话，算出来的w值基本是0.3或者是0.7，并不是我所理解的一个比较adaptive(smooth)的区间，请问这里会有问题吗？ 此外，A应该是控制当熵比较小的时候保留本模型filter的权重，这里的0.4对应的是本模型的权重最小是0.3。请问A的值对结果影响大吗？作者有试过其他值吗？

huangdl007

您好，关于论文的一些细节请教。

1

请问，文章使用KL散度作为了一个评价准则，但是KL散度是互信息，请问互信息作为单一变量的评价准则是否合适？还是我的理解有偏差？

zhyhy

作者你好，想问一个论文中的问题

1

作者你好，你们这个工作很赞！有个问题是Table3和Table5中，graft-resnet32-56-110，在CIFAR10上的结果为什么是不一样的？谢谢~

zuyuanzhong

你好，使用VGG模型运行grafting_cifar时，出现错误

3

models的vgg代码中构造网络时使用了 _make_layers构造卷积层，在运行grafting.py时会出现UnboundLocalError: local variable 'w' referenced before assignment

linsencc

Have you tired to train the baseline and grafting models both with cosine learning rate?

2

Hello: I noticed that the acc would drop after the decreasing epoch. I trained your baseline model and grafting model with the same cosine learning rate. The acc for the...

leoozy

can not reproduce the results

3

![image](https://user-images.githubusercontent.com/26025961/77132458-8a898e80-6a9a-11ea-9782-4398f851b752.png I trained the resnet32 on cifar100 with 2 grafting setting. I set the seed 1 for the first model and 2 for the second. But I found the acc...

leoozy

filter is batter than layer?

1

in the code, bn.append(m1.weight.data.abs() / (m1.weight.data.abs() + m2.weight.data.abs())) i don't understand why the weight better than enotrpy？

qiu931110

Is there something wrong?

4

Hi, thanks for your work! I have a question about grafting. I run grafting.sh, the accuracy is 93.910. And the result is 93.430, when train without grafting. It seems normal....

litingsjj

Can this work extend to other domains like segmentation/detection ?

1

It seems there is no special limitation for this work.

LightToYang