第七章 視覺里程計 1

主要目標

理解圖像特征點的意義, 并掌握在單幅圖像中提取出特征點及多幅圖像中匹配特征點的方法。

理解對極幾何的原理，利用對極幾何的約束，恢復出圖像之間的攝像機的三維運動。

理解 PNP 問題，以及利用已知三維結構與圖像的對應關系求解攝像機的三維運動。

理解 ICP 問題，以及利用點云的匹配關系求解攝像機的三維運動。

理解如何通過三角化獲得二維圖像上對應點的三維結構。
一、特征點法
VO 的算法主要分為兩個大類：特征點法和直接法。
1）特征點
VO 的核心問題是如何根據圖像來估計相機運動。
首先，從圖像中選取比較有代表性的點。這些點在相機視角發生少量變化后會保持不變，于是我們能在各個圖像中找到相同的點。然后，在這些點的基礎上，討論相機位姿估計問題，以及這些點的定位問題。在經典 SLAM 模型中，我們稱這些點為路標（Landmark）。而在視覺 SLAM 中，路標則是指圖像特征（Feature）。
特征點是圖像里一些特別的地方。我們可以把圖像中的角點、邊緣和區塊都當成圖像中有代表性的地方。
為此，計算機視覺領域的研究者們在長年的研究中設計了許多更加穩定的局部圖像特征，如著名的 SIFT、SURF、ORB，等等。相比于樸素的角點，這些人工設計的特征點能夠擁有如下的性質：

特征點由關鍵點（Key-point）和描述子（Descriptor）兩部分組成。
關鍵點是指該特征點在圖像里的位置，有些特征點還具有朝向、大小等信息。描述子通常是一個向量，按照某種人為設計的方式，描述了該關鍵點周圍像素的信息。描述子是按照“外觀相似的特征應該有相似的描述子”的原則設計的。因此，只要兩個特征點的描述子在向量空間上的距離相近，就可以認為它們是同樣的特征點。
2）ORB 特征
ORB 特征亦由關鍵點和描述子兩部分組成。它的關鍵點稱為“Oriented FAST”，是一種改進的 FAST 角點。它的描述子稱為 BRIEF（Binary Robust Independent Elementary Feature）。因此，提取 ORB 特征分為如下兩個步驟：
1、 FAST 角點提取：找出圖像中的“角點”。相較于原版的 FAST，ORB 中計算了特征點的主方向，為后續的 BRIEF 描述子增加了旋轉不變特性。
2、 BRIEF 描述子：對前一步提取出特征點的周圍圖像區域進行描述。ORB 對 BRIEF 進行了一些改進，主要是指在 BRIEF 中使用了先前計算的方向信息。
FAST 關鍵點：
FAST 是一種角點，主要檢測局部像素灰度變化明顯的地方，以速度快著稱。它的思想是：如果一個像素與鄰域的像素差別較大（過亮或過暗），那么它更可能是角點。相比于其他角點檢測算法，FAST 只需比較像素亮度的大小，十分快捷。它的檢測過程如下：
1.、在圖像中選取像素 p，假設它的亮度為 Ip。
2、 設置一個閾值 T（比如，Ip 的 20%）。
3、 以像素 p 為中心，選取半徑為 3 的圓上的 16 個像素點。
4.、假如選取的圓上有連續的 N 個點的亮度大于 Ip + T 或小于 Ip-T，那么像素 p 可以被認為是特征點（N 通常取 12，即為 FAST-12。其他常用的 N 取值為 9 和 11，它們分別被稱為FAST-9 和 FAST-11）。
5.、循環以上四步，對每一個像素執行相同的操作。
BRIEF 描述子：
BRIEF 是一種二進制描述子，其描述向量由許多個 0 和 1 組成，這里的 0 和 1 編碼了關鍵點附近兩個隨機像素（比如 p 和 q）的大小關系：如果 p 比 q 大，則取 1，反之就取 0。如果我們取了 128個這樣的 p, q，最后就得到 128 維由 0、1 組成的向量。
3）特征匹配
特征匹配是視覺 SLAM 中極為關鍵的一步，特征匹配解決了 SLAM中的數據關聯問題（data association），即確定當前看到的路標與之前看到的路標之間的對應關系。
最簡單的特征匹配方法就是暴力匹配（Brute Force Matcher）。即對每一個特征點 xmt 與所有的 xnt+1 測量描述子的距離，然后排序，取最近的一個作為匹配點。描述子距離表示了兩個特征之間的相似程度，不過在實際運用中還可以取不同的距離度量范數。對于浮點類型的描述子，使用歐氏距離進行度量即可。而對于二進制的描述子（比如BRIEF 這樣的），我們往往使用漢明距離（Hamming distance）作為度量——兩個二進制串之間的漢明距離，指的是其不同位數的個數。
而特征點過多時，暴力匹配法的運算量將變得很大。此時快速近似最近鄰（FLANN）算法更加適合于匹配點數量極多的情況。
4）計算相機運動
1.、當相機為單目時，我們只知道 2D 的像素坐標，因而問題是根據兩組 2D 點估計運動。該問題用對極幾何來解決。
2.、當相機為雙目、RGB-D 時，或者通過某種方法得到了距離信息，那么問題就是根據兩組 3D點估計運動。該問題通常用 ICP 來解決。
3、 如果一組為 3D，一組為 2D，即，我們得到了一些 3D 點和它們在相機的投影位置，也能估計相機的運動。該問題通過 PnP 求解。
二、特征點法各種算法
1）對極約束
根據2D-2D特征點對求解R,t
2）三角測量
根據2D-2D特征點求深度
3）PnP
根據3D點云和匹配的2D圖像求R,t；
4）ICP
求兩個點云之間的R,t。
它們之間的關系是：
1）特征點法找到2D圖像的匹配點對，用于對極幾何和pnp
2）對極幾何求出2D-2D的位姿。
3）根據對極幾何求出的位姿，三角測量求出2D-2D的深度。
4）根據三角測量求出的深度，可以初始化單目SLAM，得到三維點信息；或用RGBD相機獲得三維信息。知道3D信息，對于下一張2D圖像，可根據特征點法找到的匹配點對，使用PNP，求出位姿信息和深度信息。
5）根據pnp求出的深度信息；或直接用RGBD得到的兩個點云，可以用ICP，求出兩個點云之間的位姿變換。

總結

以上是生活随笔為你收集整理的视觉SLAM十四讲第七讲的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。