Torch-Pruning 稀疏训练之后，进行finetune，模型效果很差

稀疏训练之后，进行finetune，模型效果很差

Open happyday-lkj opened this issue 1 year ago • 3 comments

如题，使用slim稀疏训练之后，然后剪枝4倍之后，再进行finetune 训练，但是finetune之后模型效果很差,请问，这个可能是啥原因呢

Sep 15 '23 06:09 happyday-lkj

您好，请检查一下global_pruning=True的情况下是不是有一些层被剪空了

Sep 15 '23 07:09 VainF

您好，请检查一下global_pruning=True的情况下是不是有一些层被剪空了

prune.log 附件是训练时的log，剪枝后的模型结构也打印了，没发现有被剪空的层啊，可以帮忙看下吗

Sep 15 '23 07:09 happyday-lkj

您好，请检查一下global_pruning=True的情况下是不是有一些层被剪空了

另外，我设置的global_pruning=False, 那照您的意思是我是不是得设置成True，然后再剪枝一次？？？

Sep 15 '23 07:09 happyday-lkj