BobxmuMa
Results
2
issues of
BobxmuMa
首先，非常感谢您开源了您的XNOR-pytorch代码。其次，我注意到您在更新单精度权重时，对于权重的梯度乘了一些系数： `self.target_modules[index].grad.data = m.add(m_add).mul(1.0-1.0/s[1]).mul(n)` `self.target_modules[index].grad.data = self.target_modules[index].grad.data.mul(1e+9)` 关于这些系数，我没有在原文中找到相应的描述，想问一下您为什么对梯度进行了这样的变换。
感谢您开源了XNOR的pytorch代码。 看的过程中有一些小疑惑，您在notes推导的过程中把α直接从求和符号中提取了出来。但是α是与j相关的(原文中算法1的第4行)。所以对于j≠i的情况，α对W_i求偏导的结果是不是也是0？所以我个人感觉原文中的公式是不是没有错？希望您能解答我的疑惑，谢谢！