XNOR-Net-PyTorch
XNOR-Net-PyTorch copied to clipboard
about your notes
感谢您开源了XNOR的pytorch代码。
看的过程中有一些小疑惑,您在notes推导的过程中把α直接从求和符号中提取了出来。但是α是与j相关的(原文中算法1的第4行)。所以对于j≠i的情况,α对W_i求偏导的结果是不是也是0?所以我个人感觉原文中的公式是不是没有错?希望您能解答我的疑惑,谢谢!
我觉得即使按你的分析,论文note这部分还是有点问题 论文里边应该是认为w之间是相互独立的,所以如果i≠j,那么求导为0,这样的话,公式应该变成:
这么算是因为
里边有一个绝对值,对Wi求导直接看作1感觉有点问题,所以我保留的绝对值符号
不过即使这样,论文还是少了sign(Wi)这个系数
不知道这么分析对不对
你好 @BobxmuMa ,关于具体的公式计算,不知道你是不是可以列出具体的步骤?我暂时没有办法理解你的问题。
你好 @BobxmuMa ,关于具体的公式计算,不知道你是不是可以列出具体的步骤?我暂时没有办法理解你的问题。
不好意思,我刚才又看了一下您的notes,整体没有发现什么问题,可能是我之前推导出错了。
但是还有一个小疑问:
您的推导与原文的区别是这里
写成了关于j求和的形式,但是
这一项当i≠j时是不是为0,所以您写的这个求和的形式是不是没有什么意义。
@BobxmuMa 这一项和\alpha 有关所以不是0
@BobxmuMa 这一项和\alpha 有关所以不是0
明白了,感谢