1 物體深度

問題描述：從不同的位置拍攝相同物體的兩張圖片，恢復其深度

這里假設攝像機的鏡頭平行

由相似三角形：

由上面第一、二等式可得：

深度與視差成反比

?

2 如何配對左右圖片的點

問題描述：已知兩張圖像，由不同的照相機拍下，在左圖中選一點，

如何在右圖中找到對應的點。

由上圖可知，

左圖中點 x 對應在右圖中的點位于線段 l' 上

右圖中點 x‘ 對應在左圖中的點位于線段 l?上

2.1?極線幾何（epipolar geometry）的基本概念

• 基線（baseline）: 連接兩個照相機中心點的線段，如圖中的OO'。
• 極平面（epipolar plane）: 由兩個相機中心點, 和物體X組成的平面，如圖中的OO'X。
• 極點（epipoles）: 基線與兩張圖像的交點，如圖中的e, e'。
• 極線（epipolar lines）: 極平面與兩張圖像的交線，如圖中的 l ，l'。

2.2?極線約束（epipolar constraint）

2.2.1 calibrated case

這種情況，相機的內參和外參已知，極線幾何工作在一對歸一化相機（normalized camera）.

歸一化相機（normalized camera）使形成的歸一化圖像平面位于Z=1處。

圖像歸一化（ image normalization）是指對圖像進行了一系列標準的處理變換，使之變換為一固定標準形式的過程。

歸一化的圖像可以減少幾何變換的影響，加快梯度下降求最優解的速度。

在世界坐標系中，如果把一個相機位于原點，另一個相機的位置可以通過旋轉和平移得到。

兩者關系如下圖所示，右邊相機的位置可以通過旋轉（R）和平移（T）得到。

從上圖可知： 向量Rx， 位移 t 和 點 x' 共面，所以：

其中矩陣 E 為本征矩陣（essential matrix）

由于 矩陣 [ tx] 的秩為2， 矩陣R的秩為3，所以 E 的秩為2.?

E有5個未知數（2個平移，3個旋轉）。

在向量的叉乘運算中，把第一個向量寫成矩陣的形式：

其中矩陣 [ax] 的秩為2.

假設右邊圖像上點x'=（u', v'）

穿過點 x' 的 直線 l' 可以表示為：au’+bv'+c=0;

其中沿直線 l' 的向量可以表示為：

所以??或?

• ，即左圖中點 x 對應的右圖中的點 x' 位于線段 l' 上
• 同理，?,即右圖中點 x‘ 對應的左圖中的點 x?位于線段 l?上
• ?

2.2.2 Uncalibrated case

在這種情況下，兩個相機的內參矩陣?K 和 K’ 未知。

從相機坐標系到像素坐標系的對應關系：

其中??為像素點坐標，?為相機坐標系的坐標，?為內參矩陣。

代入上式：

化簡：

令?

則：

F 稱為基本矩陣（fundamental matrix）

與calibrated case 類似，uncalibrated case也有類似的結論：

• , 即左圖中像素點 x 對應的右圖中的像素點 x' 位于線段 l' 上
• ,?即右圖中像素點 x‘ 對應的左圖中的像素點 x?位于線段 l?上

如果覺得上面的推論有跳躍性，下面鏈接的博客推導非常詳細：

計算機視覺基礎4——對極幾何(Epipolar Geometry)

計算機視覺基礎5——本質矩陣與基本矩陣(Essential and Fundamental Matrices)

?

3 求解基本矩陣（fundamental matrix）

已知兩對點：

轉化為凸優化問題：

其解為：的最小特征值的特征向量。

總結

以上是生活随笔為你收集整理的立体视觉（Stereo Vision）-本征矩阵（essential matrix）和基本矩阵(fundamental matrix)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。