點云PCL免費知識星球，點云論文速讀。

文章：RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds

作者：Qingyong Hu1, Bo Yang1, Linhai Xie1, Stefano Rosa1, Yulan Guo

翻譯：北理工蘇同學(xué)

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈分享快樂。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關(guān)的文章。公眾號致力于理解三維視覺領(lǐng)域相關(guān)內(nèi)容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯(lián)系微信dianyunpcl@163.com。

●論文摘要

文章解決大場景下的高效率點云語義分割，因為依賴于昂貴的采樣方法和復(fù)雜的預(yù)/后處理步驟，現(xiàn)存的方法只能操作小尺度的點云。我們提出的RandLA-net，是一個輕量級的對大尺度點云的高效分割網(wǎng)絡(luò)。我們采用了隨機采樣而不是更復(fù)雜的采樣策略，但是隨機采樣可能會丟失一些關(guān)鍵特征，為了解決這個問題，引入了一個全新的局部特征聚合模塊來漸進地增加每一個點的感受野，因此保存了幾何細節(jié)。實驗證明我們的方法比現(xiàn)存方法快200x，在Semantic3d以及SemanticKITTI數(shù)據(jù)集上超越了SOTA的方法。

●?Introduction

在Pointnet使用share MLPS對點云進行處理，但是其無法獲得更廣泛的上下文信息（只有全局信息，而沒有局部信息），為了學(xué)習(xí)更豐富的局部結(jié)構(gòu)，許多專用的模塊被提出

• neighboring feature pooling

• graph message passing

• kernel-based convolution

• attention-based aggregation

這些方法其中的大多數(shù)只能針對非常小的點云(e.g., 4k points or 11 meter
blocks)，如果不使用block partition等預(yù)處理操作，不能應(yīng)用于大場景的點云（200*200m）。這個限制的原因主要有三點：

• 采樣方法太復(fù)雜

• 大多數(shù)現(xiàn)有的局部特征學(xué)習(xí)模塊依賴于核或者圖結(jié)構(gòu)，這些是很花費計算資源的

• 大尺度的場景有上百個物體，因為感受野（receptive fields）的限制，現(xiàn)存的方案要么不能捕獲復(fù)雜的結(jié)構(gòu)要么計算效率低下。

也有一些工作直接處理大規(guī)模點云，SPG現(xiàn)將點云處理為超圖（super point）然后再應(yīng)用于神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)每一個超點的語義標簽；FCPN和PCT聯(lián)合voxellization和point-leavel的網(wǎng)絡(luò)去處理龐大的點云。因為他們的預(yù)處理或者后處理太復(fù)雜，很難在實時設(shè)備上部署。

在這篇文章中，作者提出直接處理大尺度點云的方案，不需要預(yù)處理/后處理，使用的隨機采樣,RS，為了解決隨機采樣的特征丟失問題，引入了局部特征聚合模塊，LFA，通過逐漸地在每個神經(jīng)層擴大感受野，以捕獲越來越小的點集上的復(fù)雜局部結(jié)構(gòu)。

●RandLA-Net

In our RandLA-Net, we propose to use the simple and fast approach of random sampling to greatly decrease point density, whilst applying a carefully designed local feature aggregator to retain prominent features.

The quest for efficient sampling

現(xiàn)存的采樣方法主要有Heuristic Sampling

* Farthest Point Sampling (FPS)

* Inverse Density Importance Sampling (IDIS)

* Random Sampling (RS)

Learning-based Sampling

* Generator-based Sampling (GS)

* Continuous Relaxation based Sampling (CRS)

* Policy Gradient based Sampling (PGS)

作者比較了以上的6種方法，發(fā)現(xiàn):

FPS, IDIS and GS are too computationally expensive to be applied for large-scale point clouds,CRS approaches have an excessive memory footprint and PGS is hard to learn.

相比之下，RS具有以下優(yōu)點：

1、它非常高效，因為它與輸入點的總數(shù)無關(guān)。

2、它不需要額外的內(nèi)存來進行計算。

因此選擇RS作為采樣模塊，但是RS會丟失一些點特征，為了解決這個問題，提出LFA

Local Feature Aggregation

主要包括三部分

local spatial encoding (LocSE)

attentive pooling

Dilated Residual Block

Implementation

堆疊多個LFA和random sampling模塊；使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.01，每一個epoch減少5%;最近鄰點數(shù)量K設(shè)置為16；為了并行訓(xùn)練，將點云采樣到固定點數(shù)(10^5)對每一個點云作為其輸入，整個過程不需要預(yù)處理/后處理等操作。

網(wǎng)絡(luò)結(jié)構(gòu)如下：

多說一點，根據(jù)這個圖可以看到，個人感覺這個網(wǎng)絡(luò)和PointNet2的結(jié)構(gòu)非常相似，

PointNet2為了解決PointNet的缺失local feature的問題，提出了一個sampling,grouping的方法，通過對點云進行fps采樣，在其鄰域內(nèi)對一個小的點集合進行PointNet特征提取，將采樣點的鄰域內(nèi)的特征整合到采樣點上。最后再通過skip link concatenation和插值方法（類似于cnn的1*1卷積）實現(xiàn)一個類似于上采樣的操作；

在RandLA-net中，使用的是RS采樣，然后對采樣后的點的鄰域點進行特征聚合，這是特征提取。特征提取完后，再進行特征反向傳播來提高點的數(shù)量，并且通過share MLPs來降低特征的維度，最后再通過FC和Drop來獲取每一個點的label

●Experiments

Efficiency of Random Sampling

Efficiency of RandLANet

得益于random sampling 和基于MLP的LFA策略，RandLA-net能實現(xiàn)185s-4071frames粗略計算=22FPS

Semantic Segmentation on Benchmarks

(1) Evaluation on Semantic3D

(2) Evaluation on SemanticKITTI.

(3) Evaluation on S3DIS.

相對于其他的方法（復(fù)雜且昂貴的采樣，或分割點云為小的blocks），RandLA-net將整個房間作為輸入并且能夠直接（單階段）高效推理每一個點的label。

●總結(jié)

對于大尺度的語義分割，提出了輕量級的的網(wǎng)絡(luò)。采取了random sampling 而不是復(fù)雜的采樣方案，并使用了一個LFA，local feature aggregation模塊以從一個廣闊的鄰域中有效地保留有用的特征。我們的工作可以拓展到大尺度的實例分割以及實時動態(tài)點云處理

資源

三維點云論文及相關(guān)應(yīng)用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學(xué)習(xí)2D表示以實現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現(xiàn)點云可視化GUI

JSNet：3D點云的聯(lián)合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規(guī)模點云分割

更多文章可查看：點云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場景中的應(yīng)用

第三期B站錄播之CMake進階學(xué)習(xí)

第四期B站錄播之點云物體及六自由度姿態(tài)估計

第五期B站錄播之點云深度學(xué)習(xí)語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術(shù)及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應(yīng)屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關(guān)的領(lǐng)域。

分享及合作方式：群主微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的【论文速读】RandLA-Net大规模点云的高效语义分割的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。