Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

实验数据版本调整 #2

Open
yearing1017 opened this issue Jun 5, 2020 · 6 comments
Open

实验数据版本调整 #2

yearing1017 opened this issue Jun 5, 2020 · 6 comments
Labels
data_doc All data information

Comments

@yearing1017
Copy link
Owner

yearing1017 commented Jun 5, 2020 •
edited
Loading

此issue记录实验数据的调整

  • dataset1：将大图切割为640x640大小，训练集与测试集按顺序划分
    • 数据增强：颜色抖动、高斯噪声、随机旋转
  • dataset2：将大图切割为320x320大小，选择特征均匀的图像进行测试
    • 数据增强：颜色抖动、高斯噪声、随机旋转

从dataset2发现的问题

  • 没有将原图的数据加入到训练中
  • 高斯噪声进行了两次加强，且差别不大，应删除一倍的数据
  • 数据不平衡问题，背景的类别图比重太大，道路&车辆类别图比重小

第三次调整数据，待测试

  • dataset3：图像大小320x320，训练、测试集与2相同
    • 数据增强：颜色抖动、随机旋转不变；删除一倍的高斯噪声数据
    • 加入数据：原图，但要筛除背景类的图像与标签
    • 新的数据增强：添加左右、上下翻转的图像与数据，筛除背景类图像
    • 新的数据：挑选道路类的图像与标签，采用了Augmentor工具进行增强，筛除背景类图像
    • 一个小点：在测试Augmentor工具增强的数据与标签是，会发现在道路、车辆的边缘处像素值
      不正确，但是总体的区域类别是对的，不知道是不是可忽略的点
@yearing1017
Copy link
Owner Author

yearing1017 commented Jun 11, 2020 •
edited
Loading

dataset3最新版本调整：

  • 原图：1890张320x320大小的原图和lable（有多种纯背景图，不平衡数据）
  • 数据增强：基于筛选的937张背景比例小的图像
    • 单独的颜色抖动：1874张增强的image和label
    • 单独的随机的旋转：1874张增强的image和label
    • 单独的左右+上下翻转：1874张增强的image和label
  • 加入一些挑选的数据：道路信息明显的图像292张
    • 连续增强：上下+左右翻转+随机40-180旋转（此处同时加强的数据292张）
  • 设置的spilt为5份，batch_size为6，为方便整除，挑选了26张的车辆信息显著的图像
    • 连续增强：上下+左右翻转+随机40-180旋转（此处同时加强的数据26张）

数据量的汇总：共1890+5622+292+26 = 7830张训练图像

@yearing1017 yearing1017 mentioned this issue Jun 22, 2020
Closed
@yearing1017
Copy link
Owner Author

yearing1017 commented Sep 21, 2020 •
edited
Loading

dataset4加入dsm高程数据调整记录：

  • 原图：1890张320x320大小的原图、lable和dsm数据（有多种纯背景图，不平衡数据）
  • 数据增强：基于筛选的937张背景比例小的图像
    • 单独的颜色抖动：1874张增强的image、label和dsm数据（后两者返回原数据）
    • 单独的随机的旋转：1874张增强的image、label和dsm数据
    • 单独的左右+上下翻转：1874张增强的image、label和dsm数据
  • 加入一些挑选的数据：道路信息明显的图像292张
    • 连续增强：上下+左右翻转+随机40-180旋转（此处同时加强的数据292张）
  • 设置的spilt为5份，batch_size为6，为方便整除，挑选了26张的车辆信息显著的图像
    • 连续增强：上下+左右翻转+随机40-180旋转（此处同时加强的数据26张）

数据量的汇总：共1890+5622+292+26 = 7830张训练图像

@yearing1017 yearing1017 added documentation Improvements or additions to documentation data_doc All data information and removed documentation Improvements or additions to documentation labels Sep 21, 2020
@yearing1017
Copy link
Owner Author

dataset5数据记录：

  • 所有的dataset4数据；共7830张；
  • 202010new原图：1098张320x320大小的原图、label、dsm数据（已经筛选过）
  • 数据增强：基于筛选的1098张背景比例小的图像
    • 单独的颜色抖动：1098张增强的image、label和dsm数据（后两者返回原数据）
    • 单独的随机的旋转：1098张增强的image、label和dsm数据
    • 单独的左右+上下翻转：2196张增强的image、label和dsm数据

数据量的汇总：共7830 + 1098x5 = 13320张训练图像

@yearing1017
Copy link
Owner Author

dataset6数据记录：

  • 目的：添加测试的数量，一张测试集大图改为两张
  • 所有的dataset4数据；共7830张；
  • 202010new原图：1019张320x320大小的原图、label、dsm数据（已经筛选过）
  • 数据增强：基于筛选的1019张背景比例小的图像
    • 单独的颜色抖动：1019张增强的image、label和dsm数据（后两者返回原数据）
    • 单独的随机的旋转：1019张增强的image、label和dsm数据
    • 单独的左右+上下翻转：2038张增强的image、label和dsm数据

@liuhongyan123456
Copy link

博主，请问您这边的数据能分享一下嘛

@zhufeng0928
Copy link

可以分享一下数据集吗，可以付费
362146544@qq.com

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
data_doc All data information
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@yearing1017 @liuhongyan123456 @zhufeng0928