KKHouse Blog

深度学习在点云识别中的应用

深度学习在点云识别中的应用

主讲人一：刘永成，中科院自动化所在读博士，研究兴趣为3D点云处理、图像分割、多标签图像分类等。https://yochengliu.github.io/

主讲人二：李瑞辉，香港中文大学计算机系在读博士，研究兴趣为三维点云处理、三维重建等。https://liuruihui.github.io/

Part 1：深度学习在点云识别中的应用 –刘永成

本次分享主要以思想和方法性内容为主，不涉及具体实现细节。

本次分享的内容框架，Brief review主要是介绍到2019年8月份的该领域进展。

image-20200414130245337

3D表示有多视角+2D CNN(存在自遮挡和多图消耗资源的不足)、体素化表格(受制于划分精度)+3D CNN、mesh（有点和边）+DL(GNN)、图像深度(2.5维)+CNN和纯点云+DL(GNN&CNN)。基于纯点云数据是目前比较open的问题

image-20200414130425509

点云的优势

image-20200414131709402

基于纯点云数据的任务类型

image-20200414131741525

点云的数据集介绍。其中PartNet对未来机器人领域的推动性会比较大

image-20200414131859802

场景类型的点云数据集：

image-20200414132042198

对于纯点云数据来说存在的一些挑战：Irregular(unordered)、robustness to geometric transformation、robustness to corruption, outlier,noise, partial data and large-scal data

image-20200414132625084

接下来综述一下最近的工作

首先致敬PointNet

image-20200414132718473

PointNet++改进PointNet无法提取局部领域信息的不足

image-20200414133729686

后续很多工作都是在PointNet和PointNet++基础上做的。

image-20200414133920984

之前的方法都多用到了手动处理(Voxel或投射)和超参设置的过程，接下来介绍用自动学习的方法去思考

image-20200414134122227

还有一些其他思路的方法

image-20200414134342274

有些研究者开始考虑用图卷积方法去思考这个问题

空域图卷积

image-20200414134619518

谱域图卷积

image-20200414134909147

既然2D图像有直接适用于图像结构的卷积方法，那么能不能直接设计出一种合理的适用于3D点云的卷积方法呢？

image-20200414135350664

image-20200414135737446

image-20200414140055312

对于点云挑战，还有一个是鲁棒性问题

image-20200414140216650

对于旋转不变性，有一些工作：

image-20200414140415496

讲者在github上总结了点云深度学习领域工作的分类

image-20200414140654578

讲者的工作： RS-CNN

image-20200414140805028

他的研究motivation

image-20200414141028132

方法的主要思想

image-20200414141435311

image-20200414141539949

几何不变性的实验

image-20200414142530635

工作二：DensePoint

image-20200414142844098

文章的motivation

image-20200414143253988

考虑的思路：

image-20200414143439468

image-20200414143848210

实验效果结果，DensePoint对噪声点的鲁棒性有较好的效果。

image-20200414143947781

讲者的展望：

image-20200414144302063

Part2：PointAugment: an Auto-Augmentation Framework for Point Cloud Classification –李瑞辉

分享内容的框架

image-20200414144924389

目前普遍使用的Data Augment(DA)方式

image-20200414145045482

简单的数据增强方法的介绍

image-20200414145408311

google在2019年CVPR出了该领域第一个paper做数据增强方法的分类和从数据自动判断增强方式

image-20200414150355614

image-20200414150727118

image-20200414150828366

上述方法存在的主要问题：

image-20200414150955488

基于对抗方式的自动数据增强

image-20200414151407560

讲者的工作在于对点云数据做自动数据增强

motivation

image-20200414151619732

传统的DA方式：Rotation, Scaling, Translation, jittering，这种处理方式是和training分开的。

image-20200414151952539

讲者工作的主要流程思想，joint optimization可以动态调整augmentation sample的困难度。

image-20200414152100275

image-20200414152804297

上述的feature extraction是可以用现有任何方法去替换的，加下来基于PointNet给个简单例子

image-20200414153021224

构建网络部分对于augment来说不是重点，关键在于如何训练，分类网络会告诉增强网络这个增强样本好还是不好，那么怎么定义好与不好？对于augmentor来说，没有GT，所以它更像一种自监督学习，这里给出两个requirement

image-20200414153709686

讲者提出的solution，这是一种简单的版本，没有考虑到requirement(2)

image-20200414154849175

接下来引入了一个动态调整的边界参数$\rho$，去调整增强样本的复杂度，刚开始的时候比较低，随着$\rho$增大，增强样本的复杂度增加。

image-20200414155644312

实验验证设计的loss有效性，橘色的线是用pointnet++做的baseline

image-20200414155904270

接下来是分类器的loss介绍，目的是为了让生成器和原始点云的Feature尽量接近

image-20200414160135929

实验用到的数据集和实验效果，能够看到它在imbalance的数据集上提升更大。

image-20200414160227377

image-20200414160310328

鲁棒性的验证

image-20200414160552367

自动数据增强的工作是从谷歌的19年文章出来后才慢慢引起注意

image-20200414161020614