Skip to content

Commit

Permalink
Add files via upload
Browse files Browse the repository at this point in the history
  • Loading branch information
0809zheng committed Jun 30, 2023
1 parent 5b5f5c1 commit 5188676
Showing 1 changed file with 37 additions and 5 deletions.
42 changes: 37 additions & 5 deletions _posts/deep-learning/2023-04-01-pointcloud.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,9 +15,9 @@ tags: 深度学习
- **变换不变性(transformation invariance)**:学习的点特征应该对特定的变换具有不变性,比如旋转和平移变换不会改变全局点云的类别以及每个点的分割结果。

**点云分类(Point Cloud Classification)**即点云形状分类,是一种重要的点云理解任务。该任务的方法通常首先学习每个点的嵌入,然后使用聚合方法从整个点云中提取全局形状嵌入,并通过分类器进行分类。根据神经网络输入的数据格式,三维点云分类方法可分为:
- 基于多视图(**Multi-view based**)的方法:将点云投影为多个二维图像,如**MVCNN**, **MHBN**
- 基于体素(**Voxel-based**)的方法:将点云转换为三维体素表示,如**VoxNet**, **OctNet**
- 基于点(**Point-based**)的方法:直接处理原始点云,如**PointNet**, **PointNet++**
- 基于多视图(**Multi-view based**)的方法:将点云投影为多个二维图像,如**MVCNN**, **MHBN**
- 基于体素(**Voxel-based**)的方法:将点云转换为三维体素表示,如**VoxNet**, **OctNet**
- 基于点(**Point-based**)的方法:直接处理原始点云,如**PointNet**, **PointNet++**, **PointCNN**, **DGCNN**, **PCT**

### ⭐ 扩展阅读:
- [Deep Learning for 3D Point Clouds: A Survey](https://arxiv.org/abs/1912.12033)
Expand Down Expand Up @@ -81,8 +81,40 @@ tags: 深度学习

### ⚪ PointNet++

- paper:[<font color=blue>PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space</font>](https://0809zheng.github.io/2023/04/06/pointnetpp.html)
- paper:[<font color=blue>PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space</font>](https://0809zheng.github.io/2023/04/09/pointnetpp.html)

**PointNet++**引入了**Set Abstracion**来进行局部信息聚合。该结构通过最远点采样选择部分点,通过**Ball Query**把点云划分成若干局部区域,并通过**PointNet**提取局部区域的点云特征。

![](https://pic.imgdb.cn/item/649d3eb91ddac507cc47010a.jpg)
![](https://pic.imgdb.cn/item/649d3eb91ddac507cc47010a.jpg)

### ⚪ PointCNN

- paper:[<font color=blue>PointCNN: Convolution On X-Transformed Points</font>](https://0809zheng.github.io/2023/04/07/pointcnn.html)

**PointCNN**为点云特征提取设计了$$\mathcal{X}$$-卷积,能够考虑到点的形状,同时具有排序不变性。$$\mathcal{X}$$-卷积首先从输入点中学习$$\mathcal{X}$$-排序变换,随后对变换后的特征进行卷积。

![](https://pic.imgdb.cn/item/649e2ced1ddac507cc97c80e.jpg)

### ⚪ DGCNN

- paper:[<font color=blue>Dynamic Graph CNN for Learning on Point Clouds</font>](https://0809zheng.github.io/2023/04/08/dgcnn.html)

**DGCNN**设计了一个**EdgeConv**模块。**EdgeConv**作用在动态构造的近邻图上,与从每个顶点发出的所有边相关联的边特征上进行以通道为单位的聚合操作。

$$
\begin{aligned}
e_{i j m}^{\prime}&=\operatorname{ReLU}\left(\boldsymbol{\theta}_{m} \cdot\left(\mathbf{x}_{j}-\mathbf{x}_{i}\right)+\boldsymbol{\phi}_{m} \cdot \mathbf{x}_{i}\right) \\
x_{i m}^{\prime}&=\max _{j:(i, j) \in \mathcal{E}} e_{i j m}^{\prime}
\end{aligned}
$$

![](https://pic.imgdb.cn/item/649e746f1ddac507cc1ea350.jpg)

### ⚪ PCT

- paper:[<font color=blue>PCT: Point cloud transformer</font>](https://0809zheng.github.io/2023/04/10/pct.html)

**PCT****Transformer**的编码器-解码器结构应用到点云处理。解码器根据任务不同其结构不同;编码器由输入嵌入模块(全连接层+**PointNet++****Set Abstracion**)与自注意力模块(**Offset Attention**)组成。


![](https://pic.imgdb.cn/item/649e7e3c1ddac507cc2fc7ca.jpg)

0 comments on commit 5188676

Please sign in to comment.