XNOR-Net-PyTorch icon indicating copy to clipboard operation
XNOR-Net-PyTorch copied to clipboard

about your notes

Open BobxmuMa opened this issue 4 years ago • 6 comments

感谢您开源了XNOR的pytorch代码。
看的过程中有一些小疑惑,您在notes推导的过程中把α直接从求和符号中提取了出来。但是α是与j相关的(原文中算法1的第4行)。所以对于j≠i的情况,α对W_i求偏导的结果是不是也是0?所以我个人感觉原文中的公式是不是没有错?希望您能解答我的疑惑,谢谢!

BobxmuMa avatar Feb 05 '21 13:02 BobxmuMa

我觉得即使按你的分析,论文note这部分还是有点问题 论文里边应该是认为w之间是相互独立的,所以如果i≠j,那么求导为0,这样的话,公式应该变成:

这么算是因为

里边有一个绝对值,对Wi求导直接看作1感觉有点问题,所以我保留的绝对值符号

不过即使这样,论文还是少了sign(Wi)这个系数

不知道这么分析对不对

lixcli avatar Mar 22 '21 09:03 lixcli

噢,我后面再认真看了一遍,发现原文这里是没问题的,在公式

里边

因为

综上

lixcli avatar Mar 24 '21 06:03 lixcli

你好 @BobxmuMa ,关于具体的公式计算,不知道你是不是可以列出具体的步骤?我暂时没有办法理解你的问题。

jiecaoyu avatar Apr 19 '21 02:04 jiecaoyu

你好 @BobxmuMa ,关于具体的公式计算,不知道你是不是可以列出具体的步骤?我暂时没有办法理解你的问题。

不好意思,我刚才又看了一下您的notes,整体没有发现什么问题,可能是我之前推导出错了。

但是还有一个小疑问: 您的推导与原文的区别是这里 image写成了关于j求和的形式,但是 image这一项当i≠j时是不是为0,所以您写的这个求和的形式是不是没有什么意义。

BobxmuMa avatar Apr 19 '21 13:04 BobxmuMa

@BobxmuMa 这一项和\alpha 有关所以不是0

jiecaoyu avatar Apr 19 '21 18:04 jiecaoyu

@BobxmuMa 这一项和\alpha 有关所以不是0

明白了,感谢

BobxmuMa avatar Apr 21 '21 08:04 BobxmuMa