KKHouse Blog

点云上的卷积神经网络及其部分应用

点云上的卷积神经网络及其部分应用

主讲人： 李伏欣 Oregon State University

主页：http://web.engr.oregonstate.edu/~lif/

3D Deep Learning在哪些领域有需要

image-20200112110955068

3D物体的表示形式

image-20200112111239859

用点云来表示是因为点云是最直接的一种数据表达，是sensor能得到的最直接的信息，所以希望从点云去做一些research

image-20200112111456612

点云难做的原因：图像的CNN是有固定的顺序规则，有序的

image-20200112111640046

点云上深度网络最经典的工作是PointNet和PointNet++，但这不是真正的CNN

image-20200112111844491

点云的问题在于点无法被定义order，得定义一些permutation invariant的操作，PointNet用1$\times$1convolution和max-pooling来进行无序问题的解决。

PointNet++加入了Neighbor的信息

image-20200112112402236

image-20200112112702493

普通的convolution

image-20200112113314635

作者的PointConv介绍

image-20200112113827275

网络的整体框架

image-20200112114028975

作者的改进

image-20200112114457068

image-20200112114525076

这段时间作者的工作，点云上的Feature Matching的问题

image-20200112115925554

首先，基础的流程是

image-20200112120011125

接着提出PointPWC-Net，得到点的motion

image-20200112120257339

另一个有意思的工作就是考虑将点云进行smooth，因为发现不同物体点云的feature侧重在一些局部区域，如果cut掉了就会使结果错误。

image-20200112121928999