m.weight.grad.data.add_(args.s*torch.sign(m.weight.data)) # L1

[MrLinNing]

main.py文件当中，L1正则化应该是torch.abs而不是torch.sign吧 m.weight.grad.data.add_(args.s*torch.sign(m.weight.data)) # L1

[lizhengwei1992]

@MrLinNing 这个是 对 约束稀疏那项 求导的结果。使BN的weight更sparsity，论文中看一下，这个是那个公式的求导结果

[linqiaozhou]

@MrLinNing 这个是 对 约束稀疏那项 求导的结果。使BN的weight更sparsity，论文中看一下，这个是那个公式的求导结果

请问一下，既然这里要使用L1正则化了，训练时weight_decay这个参数是否应该取0？难道同时使用L1和L2正则化吗？