lixc

Results 3 comments of lixc

我觉得即使按你的分析,论文note这部分还是有点问题 论文里边应该是认为w之间是相互独立的,所以如果i≠j,那么求导为0,这样的话,公式应该变成: 这么算是因为 里边有一个绝对值,对Wi求导直接看作1感觉有点问题,所以我保留的绝对值符号 不过即使这样,论文还是少了sign(Wi)这个系数 不知道这么分析对不对

噢,我后面再认真看了一遍,发现原文这里是没问题的,在公式 里边 因为 综上

> input: (N_C/8_H_W_c8) / 8, bint8 weight: N/16_C/8_HW_n16_c8 output: N_C/8_HW_c8 > > 目前我使用(-1,1)模拟二值化训练生成的模型,它的输出和bolt 暂时无法对齐,我想弄清楚,哪里可能出现了问题?感谢你们的帮助! 是不是卷积需要padding,padding的值是什么?这个有影响,可以先比较一下没有padding的卷积层结果。 padding这里我看bolt源码默认是pad 0,我没看完完整的代码,但是我猜底层计算二值卷积的时候是把-1当作0,然后使用xnor和popcount等位运算实现的二值卷积,这样的话padding就需要特殊处理,可以选择pad +1或者-1,不pad的话会二值输出结果就会不一致。我这边实验发现pad -1效果比较好。我猜作者用来测试的bnn模型应该没有这个特殊处理?