?????? 受限于點云本身的無序性，不同設備在不同位置掃描物體所獲得的數據不盡相同，數據難以通過端到端方法來處理；點云本身也面臨數據缺失的問題，比如被掃描模型往往會被遮擋。

?????? 針對無序點云數據的深度學習方法研究，目前進展還相對緩慢。在 CVPR 2017 上，斯坦福大學提出的 PointNet 是第一種直接處理無序點云數據的深度神經網絡。團隊通過在每個點訓練一個 MLP，把每個點投到一個 1024 維空間上，并采用了 Max Pooling 層做為主要的對稱函數，比較好地解決了順序問題。隨后斯坦福大學在 NIPS 2017 上的 Pointnet++，對 PointNet 做出了更多改進。

??????? PointNet++是在PointNet上做出了改進，考慮了點云局部特征提取，從而更好地進行點云分類和分割。

先簡要說一下PointNet:

?????? PointNet，其本質就是一種網絡結構，按一定的規則輸入點云數據，經過一層層地計算，得出分類結果或者分割結果。其中比較特殊的地方在于兩個轉換矩陣（input transform & feature transform）的存在，根據文中所說，這兩個轉換矩陣可以在深度學習過程中保持點云數據的空間不變性。

?????? 根據論文里所說，圖中的input transform是一個3*3的矩陣，作為深度學習的一個參數存在。而feature transform由于維數較大（64*64），所以文中采用了正交約束的方法限制這個矩陣，從而使優化可以快速收斂。

?

???????? PointNet：PointNet Deep Learning on Point Sets for 3D Classification and Segmentation .

???????? 簡介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation-論文解讀

??????

PointNet++改進：http://stanford.edu/~rqi/pointnet2/

??????? 官網就有GitHub地址，再次再貼一遍：https://github.com/charlesq34/pointnet2

??????? 重點小圓圈：Feature Learning ，對每一個點局部進行特征提取。這個對復雜的物體和場景比較有意義，對于小的工件，總之，多多還是益善的。

??????? 作者使用鄰域球球來定義分區，或者也可以叫做patch，每個區域可以通過中心坐標和半徑來確定。

??????? 不愧為斯坦福大學的，有我當年提取物體位姿Rift特征，深得球形區間提取特征的精髓。當然，半徑取多大，和密度有多大，都可以根據劃分與覆蓋的公式來計算平移不變性和旋轉不變性（貌似旋轉不變性差一些）。

??????? 文中使用適當的重采樣方法和相應的插值方法。

???????? PointNet++：PointNet++: Deep Hierarchical Feature Learning onPoint Sets in a Metric Space

???????? 簡介：PointNet++閱讀筆記 ??

????????

?

注意事項：

??????? 無序點云融合模式識別一個重要的過程是有序化，笛卡爾坐標系化表示簡單，但遍歷與結構化描述比較困難。PointNet++進行，輸入數據的標準化工作，輸入一個梯級/逐漸稠密表示模型。

????? ? 方法：從一點開始（可以是密度最高點，也可以隨機選取），作為已選集合，使用測地線判斷離已選集合最遠點，然后更新已選集合，再次添加新的集合最遠點，這樣不管獲得多少個點，都意味著模型的稀疏點表示。隨著點集的增加，模型的表示越來越精確。PointNet++中使用了1024個維度，因此網絡數據標準化時候可能面臨點云填充問題，或者更好的方法是，在標準化之處先進行點云數據預填充工作。

??????? 劉洪森同學對此網絡進行了改進，暫時還沒有仔細Get他的進展。

?

?

總結

以上是生活随笔為你收集整理的三维CNN：收集一些最近的3d卷积网络PointNet++的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。