hualubei2020-callingsmoking icon indicating copy to clipboard operation
hualubei2020-callingsmoking copied to clipboard

对抗学习的预训练模型

Open shilinlun opened this issue 3 years ago • 6 comments

请问efficientnet的预训练模型和对抗学习的预训练模型有什么区别呀,官网没看到对抗学习的预训练模型呢

shilinlun avatar Apr 21 '21 05:04 shilinlun

Update (January 23, 2020)

This update adds a new category of pre-trained model based on adversarial training, called advprop. It is important to note that the preprocessing required for the advprop pretrained models is slightly different from normal ImageNet preprocessing.

fire717 avatar Apr 21 '21 05:04 fire717

更新(2020 年 1 月 23 日)

此更新添加了一个新类别的基于对抗训练的预训练模型,称为 advprop。需要注意的是,advprop 预训练模型所需的预处理与普通 ImageNet 预处理略有不同。

你好,这一句话 “考虑到图片有很多比较模糊的,选择了使用对抗学习的预训练模型”,是怎么进行理解的,训练模糊数据和对抗学习的预训练的联系是怎么产生的?

zrl4836 avatar Dec 22 '21 02:12 zrl4836

在对抗样本中一些比较细微的甚至像素级的改动都会导致模型出错,因此对抗学习可以提升模型的泛化性,也使得模型训练出来更关注全局特征而不是某一些细节。而模糊图片可能就是会丢失很多细节。 当然这只是个人的一些理解,不一定对。主要还是尝试了发现实验结果的确能够提升,因此最终采用了。

fire717 avatar Dec 22 '21 03:12 fire717

在对抗样本中一些比较细微的甚至像素级的改动都会导致模型出错,因此对抗学习可以提升模型的泛化性,也使得模型训练出来更关注全局特征而不是某一些细节。而模糊图片可能就是会丢失很多细节。 当然这只是个人的一些理解,不一定对。主要还是尝试了发现实验结果的确能够提升,因此最终采用了。

实验结果有提升,证明是一个好方法哈。根据你的描述(在对抗样本中一些比较细微的甚至像素级的改动都会导致模型出错),我的理解 可能 模型是对图像(也许是不模糊的图像,而不是你想要针对的模糊图像)区域的变化更加敏感,也就是更能发现图像细节的变化(比如手机和吸烟的图像区域的不同),从而模型的感知能力更强了,也就分类得更准确了。不错的想法。

zrl4836 avatar Dec 22 '21 03:12 zrl4836

不是的,在对抗样本中一些比较细微的甚至像素级的改动都会导致模型出错, 因此使用对抗学习降低这种对抗样本导致的错误, 因此会让模型对图像区域变化更加不敏感, 从而泛化能力更强。

fire717 avatar Dec 22 '21 03:12 fire717

不是的,在对抗样本中一些比较细微的甚至像素级的改动都会导致模型出错, 因此使用对抗学习降低这种对抗样本导致的错误, 因此会让模型对图像区域变化更加不敏感, 从而泛化能力更强。

OK。对抗学习这方面我得去补充下知识,导致我认知偏差太多了,GET。

zrl4836 avatar Dec 22 '21 03:12 zrl4836