pytorch-slimming
pytorch-slimming copied to clipboard
m.weight.grad.data.add_(args.s*torch.sign(m.weight.data)) # L1
main.py文件当中,L1正则化应该是torch.abs而不是torch.sign吧
m.weight.grad.data.add_(args.s*torch.sign(m.weight.data)) # L1
@MrLinNing 这个是 对 约束稀疏那项 求导的结果。使BN的weight更sparsity,论文中看一下,这个是那个公式的求导结果
@MrLinNing 这个是 对 约束稀疏那项 求导的结果。使BN的weight更sparsity,论文中看一下,这个是那个公式的求导结果
请问一下,既然这里要使用L1正则化了,训练时weight_decay这个参数是否应该取0?难道同时使用L1和L2正则化吗?