【唐宇迪 深度学习-3D点云实战系列】学习笔记
?課程目錄如下：
https://download.csdn.net/learn/35500/529919
一、3D點云應用領域分析
點云數據的特點：
? ? ? ? ① 由點組成，近密遠疏
? ? ? ? ② 有遮擋
實際的點云數據：軟件CloudCompare? 3D坐標（x,y,z）; 數據格式為.pts
?點云的應用：無人機進行環境3D重建。 在城市的交通等領域還是有需求的。點云是有3維的數據的，比2D的數據多了一個維度的。
可以旋轉、多視角的觀察數據。
公開的數據集如下： 左側為點云；右側為分割結果。
2020年開始，點云算是一個比較火熱的領域了。計算機視覺的算法、論文研究——然后才有實際輸出。
在2020在點云方向的paper越來越多了。視覺領域的圖像、視頻算法研究已經飽和，目前轉向了點云了。不斷的在挖掘這個領域了。
?
?點云的應用：
① 點云分割：點云中沒有像素值的大小，只有坐標。那怎么做分割呢？
不是做實例分割。部件分割。判斷每一個點屬于哪一個任務？ 傳統的圖像是每一個像素屬于哪一塊。
② 點云補全：近密遠疏
把缺失的點補全出來。???編碼器encoder，解碼器decoder。對抗生成網絡。風格遷移、AI變臉、特效等，有點類似的技術。?
③ 點云生成：無人機圖像做成3D點云。雖然有很多算法，但目前研究的人不是太多，文章也不多。——傳統數據，映射成點云數據。
④? 點云物體檢測：目前是研究最最熱門的一個方向。分割的論文比檢測多一些。
先做檢測，再去做其他任務。（就像視覺里面的分類-->location YOLO）
?
3D檢測，是一個立體的東西。是很多后續任務的前提。
⑤ 點云配準：無人機數據，地圖合成。不同角度拍到的數據，然后組合出來整體的圖像。
點云配準是為了給下游任務做服務的，做基礎的。比如是家具行業：室內拍攝；達芬奇手術機器人。
?⑥ 點云數據特征提取概述
?特征提取
我們的點如何進行特征提取，backbone是什么？——PointNet，去解決點云中的檢測、分割問題。——PointNet++，做特征提取的。
- 3D數據只有坐標信息；如何將數據給轉換為特征。
- 特征轉換是通過backbone來進行特征提取。與圖像數據有差異的。圖像數據和3D點云數據差異是很大的。
- 我們的點(x,y,z)如何轉換為特征？?它和其他點的關系如何考慮？這個點和全局的關系如何考慮？
- 處理點云數據中最重要的backbone是PointNet
- 點補全、分割、檢測等領域，都會用到的PonitNet++這個backbone的。
3D點云中有哪些核心的網絡？
⑦ 3D 數據應用領域與點云介紹
- 3D點云數據與圖像數據有很大的差異：
- 感知端的傳感方式與之前不一樣了。屬于3D方式的采集。360度旋轉，掃描得到3D數據，稱之為點云。
- 3D數據（點云數據）
- 3D數據應用于自動駕駛無人車、增強現實AR游戲中。
- 一個飛機樣本，由如下的點組成。三維的數據(x,y,z) 共10000個點來表達一個目標。?還有三個法向量信息：Nx,Ny,Nz。
- 點云數據可視化展示：6個維度。
- ?點云數據特性：分類、部件分割、語義分割
3D的數據有很多其他形式，為什么一定要用點云呢？——
?
?
?
?
二、PointNet算法解讀
① PointNet基本出發點
算法要體現出來交換不變性！ 比如max函數、求和函數，都是滿足交換不變性的。跟x的次序無關。
② PointNet基本模型架構和整體網絡架構
?三維的特征維度太少了，需要進行升維。維度提升。
?③ PointNet有哪些問題呢？PointNet++網絡
?PointNet升級算法需要解決的問題：
最遠點采樣方法
分組Group方法原理解讀
整體流程概述分析
分類與分割問題解決方案
遇到的問題及改進方法分析
三、PointNet++項目實戰
總結
以上是生活随笔為你收集整理的【唐宇迪 深度学习-3D点云实战系列】学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： MyOffic(经理评分)
- 下一篇： 读《一天搞懂深度学习》ppt的笔记