UAVI_Seg_Pytorch icon indicating copy to clipboard operation
UAVI_Seg_Pytorch copied to clipboard

实验数据版本调整

Open yearing1017 opened this issue 5 years ago • 6 comments

此issue记录实验数据的调整

  • dataset1:将大图切割为640x640大小,训练集与测试集按顺序划分
    • 数据增强:颜色抖动、高斯噪声、随机旋转
  • dataset2:将大图切割为320x320大小,选择特征均匀的图像进行测试
    • 数据增强:颜色抖动、高斯噪声、随机旋转

从dataset2发现的问题

  • 没有将原图的数据加入到训练中
  • 高斯噪声进行了两次加强,且差别不大,应删除一倍的数据
  • 数据不平衡问题,背景的类别图比重太大,道路&车辆类别图比重小

第三次调整数据,待测试

  • dataset3:图像大小320x320,训练、测试集与2相同
    • 数据增强:颜色抖动、随机旋转不变;删除一倍的高斯噪声数据
    • 加入数据:原图,但要筛除背景类的图像与标签
    • 新的数据增强:添加左右、上下翻转的图像与数据,筛除背景类图像
    • 新的数据:挑选道路类的图像与标签,采用了Augmentor工具进行增强,筛除背景类图像
    • 一个小点:在测试Augmentor工具增强的数据与标签是,会发现在道路、车辆的边缘处像素值 不正确,但是总体的区域类别是对的,不知道是不是可忽略的点

yearing1017 avatar Jun 05 '20 02:06 yearing1017

dataset3最新版本调整:

  • 原图:1890张320x320大小的原图和lable(有多种纯背景图,不平衡数据)
  • 数据增强:基于筛选的937张背景比例小的图像
    • 单独的颜色抖动:1874张增强的image和label
    • 单独的随机的旋转:1874张增强的image和label
    • 单独的左右+上下翻转:1874张增强的image和label
  • 加入一些挑选的数据:道路信息明显的图像292张
    • 连续增强:上下+左右翻转+随机40-180旋转(此处同时加强的数据292张)
  • 设置的spilt为5份,batch_size为6,为方便整除,挑选了26张的车辆信息显著的图像
    • 连续增强:上下+左右翻转+随机40-180旋转(此处同时加强的数据26张)

数据量的汇总:共1890+5622+292+26 = 7830张训练图像

yearing1017 avatar Jun 11 '20 08:06 yearing1017

dataset4加入dsm高程数据调整记录:

  • 原图:1890张320x320大小的原图、lable和dsm数据(有多种纯背景图,不平衡数据)
  • 数据增强:基于筛选的937张背景比例小的图像
    • 单独的颜色抖动:1874张增强的image、label和dsm数据(后两者返回原数据)
    • 单独的随机的旋转:1874张增强的image、label和dsm数据
    • 单独的左右+上下翻转:1874张增强的image、label和dsm数据
  • 加入一些挑选的数据:道路信息明显的图像292张
    • 连续增强:上下+左右翻转+随机40-180旋转(此处同时加强的数据292张)
  • 设置的spilt为5份,batch_size为6,为方便整除,挑选了26张的车辆信息显著的图像
    • 连续增强:上下+左右翻转+随机40-180旋转(此处同时加强的数据26张)

数据量的汇总:共1890+5622+292+26 = 7830张训练图像

yearing1017 avatar Sep 21 '20 11:09 yearing1017

dataset5数据记录:

  • 所有的dataset4数据;共7830张;
  • 202010new原图:1098张320x320大小的原图、label、dsm数据(已经筛选过)
  • 数据增强:基于筛选的1098张背景比例小的图像
    • 单独的颜色抖动:1098张增强的image、label和dsm数据(后两者返回原数据)
    • 单独的随机的旋转:1098张增强的image、label和dsm数据
    • 单独的左右+上下翻转:2196张增强的image、label和dsm数据

数据量的汇总:共7830 + 1098x5 = 13320张训练图像

yearing1017 avatar Oct 11 '20 08:10 yearing1017

dataset6数据记录:

  • 目的:添加测试的数量,一张测试集大图改为两张
  • 所有的dataset4数据;共7830张;
  • 202010new原图:1019张320x320大小的原图、label、dsm数据(已经筛选过)
  • 数据增强:基于筛选的1019张背景比例小的图像
    • 单独的颜色抖动:1019张增强的image、label和dsm数据(后两者返回原数据)
    • 单独的随机的旋转:1019张增强的image、label和dsm数据
    • 单独的左右+上下翻转:2038张增强的image、label和dsm数据

yearing1017 avatar Oct 31 '20 02:10 yearing1017

博主,请问您这边的数据能分享一下嘛

liuhongyan123456 avatar Aug 03 '21 09:08 liuhongyan123456