高精地圖：激光雷達點云與高精地圖融合
定位精度和更新頻率是高精定位的顯著特征。

精度與頻率：根據(jù)推算，高精定位需要實現(xiàn)≤25cm 的定位精度，更新頻率≥100Hz，因此需要在一般導航定位方案的基礎上，與激光雷達、攝像頭等感知設備相結合。

解決方案：按照定位參考系的不同，分為絕對位置與相對位置兩個維度，前者以 GNSS/ RTK 定位代表，后者結合高精地圖，以點云或視覺匹配為核心。

實際應用：在實際應用中，是兼而有之的融合方案，例如百度 Apollo 以 GNSS 定位與點云匹配定位相融合，最終輸出一個 6 自由度的位置和姿態(tài)信息。
實現(xiàn)該定位方案的三個關鍵環(huán)節(jié)：
? 高精地圖的絕對坐標精度，以及包含道路信息的豐富、細致程度；
? 攝像頭、激光雷達等設備的感知能力；
? 匹配算法的性能。此外還有不依靠高精地圖支持，單純通過視覺里程算法實現(xiàn)定位的思路。據(jù)高德高精地圖團隊谷小豐透露，高德基于“激光雷達+攝像頭”的相對位置定位方案，能夠實現(xiàn)平均誤差 9cm 的定位精度。
相對位置與絕對位置代表，思考高精定位的不同視角，在實際運用中是兼而有之。自動駕駛汽車在實際行駛過程中，會遭遇各種路況環(huán)境，比如衛(wèi)星信號中斷、視線模糊、激光雷達反射遮擋等，以及尚未遭遇到的“長尾案例”。為實現(xiàn) L3 及更高級別的自動駕駛，僅僅依靠某一定位方案遠遠不夠，而需要多傳感器、多系統(tǒng)的融合定位方案。
相對位置：點云匹配與視覺定位
絕對位置定位以地球為參考系，相對位置定位以當前駕駛場景為參考系。相對位置定位思路，與人類駕駛過程更為類似：人類駕駛員在駕駛過程中，通過視覺觀察周圍場景中的物體，包括建筑、路緣、標志線等，經(jīng)過比對判斷車輛，在當前場景中的位置。
類似地，自動駕駛汽車通過高清攝像頭、激光雷達等感知設備獲取周圍場景內(nèi)物體的圖像或反射信號，與事先采集的高精地圖數(shù)據(jù)，進行匹配，從而獲取對車輛當前位置的精確估計。
相對位置定位可以分為（激光雷達）點云匹配和視覺定位兩大技術路線。點云匹配以激光雷達為核心：激光雷達向外發(fā)射激光脈沖，從地面或物體表面反射，形成多個回波，返回到激光雷達傳感器，經(jīng)處理后的反射數(shù)據(jù)稱為點云數(shù)據(jù)。
采集到的點云數(shù)據(jù)與高精地圖進行匹配，以實現(xiàn)汽車在當前場景的高精定位，目前主流的匹配算法，包括概率地圖與 NDT （正態(tài)分布變換）算法兩種，代表玩家如 Google、HERE、TomTom。
視覺定位以攝像頭為核心，分為兩種路徑：視覺匹配與視覺里程定位。視覺匹配通過提取圖像中的道路標識、車道線等參照物體與高精地圖進行匹配，實現(xiàn)精準定位，代表玩家如特斯拉、Mobileye、英偉達。基于視覺里程算法的定位技術，以雙目攝像頭為主，通過圖像識別，以及前后兩幀圖像之間的特征關系，計算車輛當前位置。
但該方案依賴攝像頭的成像質量，在光線不佳、視線遮擋等環(huán)境下定位可靠性有待考量，一般不會單獨使用。不管是點云匹配還是視覺定位，在實際運用中，都并非單純依靠某一種感知設備，而是實現(xiàn)包括 GNSS/RTK 定位、IMU、雷達在內(nèi)多套子系統(tǒng)的融合。
絕對位置與相對位置互為結合，互為補充
高精度定位由多個定位導航子系統(tǒng)交叉組成，彼此之間相互冗余。按照百度 Apollo的劃分，適用于自動駕駛汽車的定位技術，可由六部分組成，分別為：慣性導航（定位）、衛(wèi)星定位、磁力導航（定位）、重力導航（定位）、激光點云定位、視覺定位。不同部分之間優(yōu)勢互補，定位結果之間相互重疊以矯正誤差，提高定位精度和魯棒性。

地面標識種類繁多：實際場景中地面標識種類繁多，在內(nèi)容、顏色、形狀、尺寸等方面均有不同分布。
顏色：比如黃色、紅色、白色等
形狀：箭頭形、各種文字數(shù)字形狀、條形、多條形、面狀、丘狀等
尺寸：國標定義的標準箭頭長度為9m，但也存在1m~2m甚至1m以下的地面標識元素，尤其減速帶，人行道等，尺寸差異會更大，反映到圖像中像素個數(shù)，以及長寬比，均會有較大差異。

圖1. 部分地面標識
磨損壓蓋多：地面元素長年累月受車輛、行人等碾壓會造成磨損，經(jīng)常存在的堵車等場景，更是加大了地面要素被遮擋的可能。從激光雷達獲取的點云數(shù)據(jù)，由相機獲取的可見光圖像數(shù)據(jù)的質量，均參差不齊，對地面標志識別，帶來了極大的挑戰(zhàn)。
常見的問題如下所示，示例如圖2所示。
地面標識磨損：地面標志由于磨損褪色、掉漆導致不完整或者嚴重不清晰
采集環(huán)境問題：遮擋(施工、車輛)、由于環(huán)境改變引起的材料激光反射率差異，可見光不清晰（雨天、逆光等）。

圖2. 自然場景下拍攝的地面標識
4. 識別起步
地面標識識別，將地面標識這部分區(qū)域提取出來，則最直觀的是對其進行閾值分割、骨架提取、連通域分析等傳統(tǒng)方法。首先獲取點云中地面點集合，接著獲取集合中高反射率部分的骨架集合，然后對每個局部骨架區(qū)域，計算強度截斷閾值，最后對區(qū)域進行連通區(qū)域搜索，以及附加降噪措施等。
另外也嘗試了GrabCut等算法在地面標志上的提取，GrabCut算法對前景和背景分別聚類，得到k組類似的像素集合，對前景和背景，分別進行高斯混合模型（GMM）建模，判斷像素屬于地面標志還是背景。在提取疑似地面標識區(qū)域后，再經(jīng)過機器學習模型（SVM等），進行細分類以獲得更好的識別效果。

圖3. 傳統(tǒng)提取方法識別結果
由上圖可以看到，對于一些前后景區(qū)分比較好的地面標識提取的比較好，但是針對有磨損、模糊、前景背景相似、背景復雜等情況均效果欠佳，容易漏召回且位置精度不高，魯棒性不強。

5.深度學習時代
2012年Hinton團隊提出的Alexnet網(wǎng)絡，贏得了2012年圖像識別大賽冠軍，相比傳統(tǒng)方法獲得顯著提升，CNN在圖像領域有了明顯優(yōu)勢。近幾年，基于深度學習的檢測識別技術，得到了很大發(fā)展。
深度學習時代是數(shù)據(jù)和硬件驅動的時代，結合部分人工標注以及自動化生成，擁有百萬級的數(shù)據(jù)，而且各種場景的數(shù)據(jù)還在不斷豐富，結合算法探索與創(chuàng)新，取得了越來越好的技術與業(yè)務效果。
目前檢測識別技術主要分為兩大方向：Two-Stage(如RCNN系列)和One-stage(SSD、YOLO等)。Two-Stage網(wǎng)絡優(yōu)勢在于效果整體較好，識別位置較精確，對小目標檢測也有一定的競爭力。
One-stage檢測識別方法優(yōu)勢，在于處理速度較快。高精地圖不僅需要較高的識別性能、也需要有足夠高的識別位置精度，選擇了準確率較高的Two-stage大方向。

1）R-FCN檢測
結合位置敏感得分圖（position-sensitive score map）和位置敏感降采樣（position-sensitive roi pooling）等操作，R-FCN算法在目標檢測識別上，獲得了較高的性能和位置精度，選擇了R-FCN檢測算法，實現(xiàn)對地面標識的檢測識別。

R-FCN算法基于深度學習的方法，通過學習大量實際場景樣本，在泛化性上取得了比較大的提升，自動化識別，對于不同場景的識別能力有所提高，地面標識召回率，得到了較大的改善。算法示意圖如下所示：

圖4. R-FCN算法示意圖
以下為一些地面標識檢測識別示例：

圖5. R-FCN算法地面標識識別示例
引入深度學習，極大的改善了高精地圖地面標識，自動識別的性能，地面標識召回得到了很大提升，美中不足，R-FCN存在著一個弊端，輸出的最終檢測位置，基于地面標識類別的得分，往往得分最高的位置，不一定跟實際位置最貼合，在位置預測精度上，R-FCN并不完美。
2）級聯(lián)檢測器
隨著深度學習的發(fā)展，業(yè)界對目標檢測識別位置精度的要求不斷提高，更多高精度檢測識別算法被提了出來，如Iou-Net等。
適時采用了更加先進的識別算法，獲得更加精準的位置精度，滿足產(chǎn)線業(yè)務需求，結合級聯(lián)檢測，利用Deformable-Conv自適應感受野等技術，提升算法識別精度。
算法不同于傳統(tǒng)算法，對roi進行一次預測回歸，得到最終位置，而是通過級聯(lián)的形式，不斷修正預測的位置和實際位置的偏差，每經(jīng)過一個級聯(lián)回歸器，算法識別結果均會更加貼合真值，非常有利于提高識別精度，契合高精地圖，對目標位置精度的高要求，最后在召回和位置精度上，達到更好的效果。

圖6.級聯(lián)檢測算法原理圖
以下為一些算法識別結果示例：

圖7. 級聯(lián)檢測算法識別示例
通過引入級聯(lián)形式的檢測識別模型，令高精產(chǎn)線自動識別能力，在識別精度上，得到了不錯的提升，但對自動識別位置精度提升的挖掘是無止盡的，有了以下的方案。
3）級聯(lián)檢測 + 局部回歸
設想一下，如果在地面標識區(qū)域，進行局部的位置回歸，網(wǎng)絡就能夠聚焦到更加細微的地面標識區(qū)域，最終得到更加接近邊界的位置。結合實際在做地面標志識別時，將容易造成精度問題的部分單獨做位置精修，得到了更加精細的位置。
以下為部分算法識別結果示例：

圖8. 算法識別示意圖
采用檢測+回歸技術方案，實現(xiàn)了更加好的位置檢測精度，讓離“真實世界”更進了一步。其缺點是技術方案流程較長，不夠簡潔美觀。
4）基于角點的檢測
基于角點回歸的目標檢測方法，使用單個卷積神經(jīng)網(wǎng)絡，預測兩組熱力圖，表示不同物體類別的角的位置，將目標邊界框檢測為一對關鍵點（即邊界框的左上角和右下角），每個檢測到的角點的嵌入向量。角點用于確定目標位置，嵌入向量用于對屬于同一目標的一對角點，進行分組。
此種方法簡化了網(wǎng)絡的輸出，通過將目標檢測為成對關鍵點，消除了現(xiàn)有的檢測器設計中，對特征層需要大量anchors的弊端，大量anchors造成了大量的重疊，以及正負樣本不均衡。同時為了產(chǎn)生更緊密的邊界框，網(wǎng)絡還預測偏移，以精細調(diào)整角點的位置。通過預測熱力圖、嵌入向量、偏移，最終得到了精確的邊界框。

圖 9 角點檢測示意圖
由于在檢測任務中，需要獲取相同尺寸的特征圖，對目標進行位置回歸、類別分類等，算法會進行量化，降采樣等操作，不可避免會有精度上的損失。這個弊端帶來的最大影響，就是經(jīng)由檢測回歸出的位置不夠魯棒，在某些情況下，出現(xiàn)或多或少的偏移。
5）級聯(lián)檢測 + 分割精修
隨著語意分割技術的不斷成熟，基于深度學習的語意分割，已經(jīng)能夠將輸入圖像，進行像素級的分類，精度也越來越高，圖片中要素的輪廓越來越精細。
采用以resnet 為主干的分割模型，結合了自適應感受野、多尺度融合、Coarse-Fine融合、感興趣區(qū)域注意力機制等技術，實現(xiàn)了對地面標識的像素級分割。
為了獲取地面標識的實體信息，仍然用檢測來確定地面標識大致位置，最終由對應區(qū)域的地面標識分割語義信息，獲取最終精確的地面標識位置。

圖10.地面標識分割示意圖
以下為部分檢測結合精修示例圖：

圖11. 分割精修示例
語義分割的引入，使得地面標識的識別位置精度，得到了改善，解決了由檢測帶來的，識別位置精度不魯棒的問題，使得高精地圖地面標識自動化效果，上了一個新的臺階。
但是這種方法稍顯繁瑣，而且檢測和分割任務，需要耗費大量GPU資源，一張圖片，需要同時多次GPU運算，加上后續(xù)的CPU后處理融合，才能夠得到最終的結果，如果能夠將這些步驟優(yōu)化，必然能夠簡化流程，節(jié)省大量運算資源。
6）PAnet
基于以上考慮，采用了基于PAnet的檢測識別算法。傳統(tǒng)的實例分割模型，各層中的信息傳播不夠充分。PAnet較好的解決了這些問題，充分融合了coarse、fine特征，不僅有自頂向下的特征融合，還結合了自底向上的特征融合，在高層特征中，充分融合進了底層的強定位特征，解決了淺層特征信息丟失的問題。
結合了自適應特征降采樣，將不同特征層進行融合提取roi特征做預測，添加額外mask前景背景分類分支，使得預測mask更加精確，結合對于目標檢測位置精度，有比較大的收益。分割和檢測任務結合，能夠互相促進取得更好的結果。

圖 12 PAnet 示意圖
以下為一些算法的識別結果示例。可以看到，算法對部分磨損模糊的地面標識，也有了一定的寬容度，位置精度有了巨大的改善。（圖中地面標識外框為檢測得到的大概位置，內(nèi)框為根據(jù)像素級分割得到的位置，取內(nèi)框為地面標識最終位置）。

圖 13 檢測識別實例
采用上述方案，需要將點云投影為2D空間，中間有一定的歸一化量化操作，不可避免的會損失一些信息，在一些點云反射率較低的地方，容易造成目標丟失。如果能夠在原始3維點云上，提取這些問題就迎刃而解。
7）基于3維點云的目標檢測
基于上面的考慮，探索原始點云上的3D物體檢測，3D點云識別，各種真實世界應用的一個重要組成部分，如自主導航、重建、VR/AR等。與基于圖像的檢測相比，激光雷達提供可靠的深度信息，可以用于精確定位物體，表征形狀。
探索了多種3維點云識別算法，比如基于bird-view、voxel等的3維點云識別。由于PointRCNN在原始3維點云目標檢測上的良好表現(xiàn)，采用基于PointRCNN的方法，提取地面標識，整個檢測框架包括兩個階段：第一階段將整個場景的點云分割為前景點和背景點，自下而上的方式，直接從點云生成少量高質量的3D proposal。
第二階段在規(guī)范坐標中，修改候選區(qū)域獲得最終的檢測結果，將每個proposal經(jīng)池化后，轉換為規(guī)范坐標，以便更好地學習局部空間特征，同時與第一階段中全局語義特征相結合，用于預測Box優(yōu)化和置信度預測。

圖 14 3維點云檢測
7. 效果與收益
大數(shù)據(jù)的支撐使得算法，擁有更好的魯棒性與識別能力。結合算法中各種策略，以及多種數(shù)據(jù)源（點云、可見光等），在不斷提升地面標識識別精度，其位置精度在Ground Truth 5cm范圍區(qū)間內(nèi)達到99%以上，召回也達到了99.99%以上，各項指標都得到了穩(wěn)步提升。
上述方案已經(jīng)正式上線，并處理了大量數(shù)據(jù)，準召率都達到了生產(chǎn)作業(yè)的要求，同時算法對人工作業(yè)產(chǎn)線的效率提升，作用日益提高。以下是部分效果圖：

圖15. 地面標識檢測效果圖
8. 總結
高精地圖被稱作自動駕駛系統(tǒng)的“眼睛“，與普通地圖最大的不同點，在于使用主體不同。普通導航地圖的使用者是人，用于導航、搜索，而高精地圖的使用者是計算機，用于高精度定位、輔助環(huán)境感知、規(guī)劃與決策。高精地圖對地圖要素，不僅需要極高的召回率，還需要非常高的位置精度。
高精地圖中要素的識別，對技術提出了比較高的要求，縱觀整個高精地圖產(chǎn)業(yè)發(fā)展，地圖制作逐漸從純?nèi)斯?#xff0c;過渡到半自動乃至全自動。期間識別技術，也不斷得到發(fā)展與完善，從手動構造特征到自動特征、從2維識別到3維以及更高維識別、從單源識別到多源融合等。
目前，高精地圖多采用人工作業(yè)，人工作業(yè)質量和效率始終是一個矛盾點，相比之下，機器自動識別，有著更高的效率、更低的作業(yè)成本，不亞于人工的作業(yè)質量。自動識別的應用，必將加速高精地圖構建，推動高精地圖產(chǎn)業(yè)發(fā)展。高精度地面標識識別技術，已經(jīng)在高德高精地圖內(nèi)部得到應用，有效提升了數(shù)據(jù)制作效率與制作質量，為高德構建高精地圖，提供堅實的技術支撐。

參考鏈接：
http://news.eeworld.com.cn/mp/ICVIS/a95793.jspx
https://www.cnblogs.com/amap_tech/p/11857909.html

總結

以上是生活随笔為你收集整理的高精地图：激光雷达点云与高精地图融合的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。