New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

InterestingExamples - 无人机检测附近哪里有停车位 #958

Closed
llxxxll opened this Issue Dec 20, 2016 · 5 comments

Comments

Projects
None yet
3 participants
@llxxxll
Contributor

llxxxll commented Dec 20, 2016

Idea

无人机附近哪里有停车位
输入:停车场高空图像、汽车标注、车位之间空隙标注等数据
输出:输入停车场图像到模型>输出空余车位位置
Idea List

Owner

@Simshang

成员

  • @llxxxll 资深无人机驾驶员、验证数据集贡献者

必要支持

  • PaddlePaddle相应的图像模型支持,待@Simshang 补充
  • 无人机
  • 摄像设备(GoPro)

参考文献

示例样本数据

  • ftp://gdo152.ucllnl.org/pub/cowc/

@llxxxll llxxxll self-assigned this Dec 20, 2016

@Simshang

This comment has been minimized.

Simshang commented Jan 18, 2017

第一阶段: 验证想法的可行性

利用公开数据集训练了一个具有识别汽车特征的FCN模型:

  1. 利用公开数据集一共生成了5272张样本数据, 1000张作为测试集, 4272张作为训练集
  2. 基于FCN提供的官方代码进行训练来验证思路是否可行
  3. 实验结果如下图所示:
    figure_0
    在上图中,
    • 左边原始图片
    • 中间Ground turth, 蓝色为背景类, 绿色为汽车类, 红色为非汽车类, 非汽车类包含树/屋顶/道路等
    • 右边是测试模型时的输出

NVIDIA K40m 训练5个小时, 迭代3万多次, 整个模型还在收敛中, 由于假期到了只有先把阶段性结果放上来, 实验表明FCN具有检测汽车的能力, 但是在预测的精细程度上有待提高

下一阶段计划:

  1. 增加生成的样本数量, 调整模型更加精细
  2. 完成图片采集与标注 @llxxxll
  3. 使用paddle实现FCN利用采集的数据fine-tune已有的模型
@Simshang

This comment has been minimized.

Simshang commented Feb 26, 2017

最新实验结果:
figure_0

新问题

FCN做预测的输出精细度依然不够,需要更加精确地预测车辆位置

下一步:

解决dense prediction问题
参考资料:

论文效果如下:
default

@llxxxll

This comment has been minimized.

Contributor

llxxxll commented Mar 5, 2017

dji_0006
dji_0014
大疆采集的样本

@Simshang

This comment has been minimized.

Simshang commented Mar 6, 2017

寻找标注志愿者:

标注方案

标注方法:

1. 将原始图片用GIMP打开, 并新建名称为car的图层和negative的图层, 图层大小和与原图一致

2. 标注正类car, 用工具箱中的铅笔, 改变前景色为红色(255,0,0), 在car图层上的中间位置点击一下, 如下图所示:(右击在新标签中打开图片查看详细配置)

car

  • 注意:工具箱中选择Pixel, 大小为1

如下图所示, 将原图片的可视图层取消, 将正类的label导出为png图片, 命名方式为原图片名称_Cars.png

car1

3. 标注负类, 注意切换图层颜色 , 在空车位上点击一下, 如下图所示

negative

如下图所示, 将原图片的可视图层取消, 将负类的label导出为png图片, 命名方式为原图片名称_Negatives.png

negative1

如果将所有图层的可视化权限打开, 效果如下:

label

@Simshang

This comment has been minimized.

Simshang commented Mar 6, 2017

未微调模型测试结果:

按照正常的步骤, 我们需要先将卫星图片训练的FCN模型用无人机采集的图片对模型进行微调, 因为毕竟卫星图片和无人机采集的图片有差异, 还有一点是通过对比训练集和测试集我发现, 中国车型大部分都有天窗, 但是国外车型大部分没有天窗, 对于俯瞰的汽车图片来说, 是否有天窗是一个很重要的特征, 同时说明了对于我们自己采集的图片进行标注之后再去微调FCN模型是十分必要的. 还有一点是如果我们仅仅是针对停车场这样的单一场景的话, 之后通过微调FCN模型, 应该会有一个很不错的效果.

由卫星图片训练的FCN模型的结果来看, FCN是具备汽车识别能力的, 但是大疆提供的两张图片还没有标注只能用作测试图片先看看效果(自己最近也比较忙啦, 终于有了采集的数据迫不及待先测试一下), 以训练集图片相同的大小对两张采集图片进行随机采样, 然后输入到未进行微调的FCN模型, 其中的一张测试结果如下:
nofinetune

在原图中的位置:

nofinetune

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment