torch-model-compression
torch-model-compression copied to clipboard
THU-MIG
针对pytorch模型的自动化模型结构分析和修改工具集，包含自动分析模型结构的模型压缩算法库
前辈您好，首先感谢您提供的方法，我在回归模型上复现您的方法时，出现了较大的性能损失，可以向您请教几个问题吗？ （1）在加载预训练好的模型后，算法在边训练边压缩，这个过程中的训练/验证性能和loss如下图所示，在正常的模型训练中属于异常情况，请问下压缩阶段属于异常情况吗？  （2）在您提供的样例中，压缩达到目标压缩率后在设定的epoch之前仍将继续训练，这会在压缩的基础上有性能恢复效果吗？ 十分感谢您的阅读和解答，祝您在工作和生活中一切顺利！
你好，最近刚好用到ResRep剪枝，我看本框架和原始ResRep论文的实现方式稍有差异, 本框架直接移除选中的卷积通道层但原论文是对选中通道施加惩罚因子使其逐渐趋向0，或者说反向传播过程中对保留和移除卷积通道层施加不同的梯度更新策略。 `if isinstance(nn_object, Compactor): lasso_grad = value.data * ((value.data ** 2).sum(dim=(1, 2, 3), keepdim=True) ** (-0.5)) value.grad.data.add_(self.config["lasso_decay"], lasso_grad) ` 请问实际测试中有比对两种方案的性能差异么~
前辈您好，首先感谢您提供的剪枝(Resrep)和性能补偿(Acnet)方法，目前我已成功实践对Transformer和Conformer的剪枝，这是对未测试模型应用的补充，想请教下您，针对QAT量化后的TensorRT格式(.trt)的模型还可以测试其算力吗(例如推理速度或吞吐量)？我尝试了几种方法但都无法成功，请问您之前做过对量化后模型的算力计算吗?
您好，我在剪枝自己写的模型时前面大部分层的剪枝都是正常的，但是最后某一层出现了如下问题： Cutting layer is: self.channel_down.compactor AAAAAAAAAAAAAA [32, 128, 1, 400] # 以下两行是我打印出来的 mask_dict[name], return_masks[name] BBBBBBBBBBBBBB [400, 1, 128, 32] Traceback (most recent call last): File "/.../torch-model-compression-main/examples/torchslim/pytorch_cifar/prune.py", line 208, in solver.run()...
