Cainiao-Global-Technology-Competition-2019

The private repo for Cainiao Global Technology Competition 2019 vid HuaHuaGuai.

处理流程

现阶段决定选用VINS Mono作为主要算法，在此基础上进行以下工作：

• 1. 手机端获取具有时间戳信息的视频和IMU数据
  • 1.1 录制视频以及IMU数据
  • 1.2 时间戳对齐（也可以放在服务端做）
• 2. 将手机获取的数据，发布为ROS Topic节点
  • 2.1 视频使用opencv发布订阅节点，参考ROS&OpenCV进行摄像头数据的采集与订阅发布
  • 2.2 IMU直接发布为订阅节点，参考 ros接入IMU数据，打包发布topic
  • 2.3 配置ROS配置文件，根据节点生成轨迹以及点云图，参考文献待定；
• 3. 视频逐帧进行语义分割（若速度过慢，采用目标检测代替）
  • 3.1 使用deeplabv3训练语义分割网络
  • 3.2 融合点云图与语义分割信息，生成带有语义信息的点云图
• 4. 估计物体尺寸
  • 4.1 处理目标物体的点云图，生成最小外接立方体
  • 4.2 使用计数法调优立方体尺寸

额外工作

• 编写手机app的界面
• 搭建服务端web架构，处理视频/IMU数据上传工作

文档资源

• 2019菜鸟全球科技挑战赛题目
• 2019菜鸟全球科技挑战赛赛题解读
• 深度干货：详解基于视觉+惯性传感器的空间定位方法 | 硬创公开课

Paper List

• CVPR18 - Learning Depth from Monocular Videos using Direct Methods[code]
• CVPR18 - Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints
• 2018 - Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos