七、立體標定與立體校正

? ? ? ? 這篇博文中，讓玉米和大家一起了解一下，張氏標定是怎樣過渡到立體標定的？在這里主要以雙目立體視覺進行分析。對于雙目立體視覺，我們有兩個攝像頭。它們就像人的一雙眼睛一樣，從不同的方向看世界。兩只眼睛中的圖像的視差，讓我們對世界有了三維的認識。

? ? ? ? 那么，想要知道視差，首先應該知道雙目視覺系統中兩個攝像頭之間的相對位置關系。我們可以通過同時對兩個攝像頭進行標定，分別得到二者相對同一坐標系的旋轉矩陣和平移矩陣。獲得這兩個矩陣的過程，就是立體標定的過程。也即是：從張氏標定走向立體標定！

? ? ? ?兩攝像頭之間的旋轉矩陣和平移矩陣可以由下式求出：

? ? ? ?其中，R為兩攝像頭間的旋轉矩陣，T為兩攝像頭間的平移矩陣。R_r為右攝像頭經過張氏標定得到的相對標定物的旋轉矩陣，T_r為右攝像頭通過張氏標定得到的相對標定物的平移向量。R_l為左攝像頭經過張氏標定得到的相對相同標定物的旋轉矩陣，T_l為左攝像頭經過張氏標定得到的相對相同標定物的平移向量。

? ? ? 兩個式子是可以通過數學代換推導來的。但玉米覺得對這樣有明顯物理意義并且空間過程簡單的計算式。物理上的空間想象，比純代數代換，要生動的多。并且有利于大家揣摩整個物理過程。

? ? ? 在玉米眼里，這兩個式子是這樣的：

? ? ? 對于R，首先用T把左攝像機坐標系平移到右攝像機坐標系上（即兩坐標系遠點重合）。然后在同一參考系下的兩個旋轉矩陣相乘，表示世界坐標先向右旋轉到R_r ，再向左旋轉R_l。那么兩次旋轉后得到的旋轉，就是有攝像機旋轉到左攝像機所需的旋轉矩陣R。

? ? ? 對于T，那就更容易理解了，先用R對左坐標系旋轉一下，把左右兩攝像機調成平行，然后直接平移向量相減，即得到。兩攝像機之間的平移向量T。

? ? ? 上面求得的R和T就是立體標定得到的參數了。

? ? ? 那么運用的立體標定所得的參數了，下一步我們該做什么呢？答案是：立體校正。

? ? ? 在介紹立體校正的具體方法之前，讓我們來看一下，為什么要進行立體校正？

? ? ? 因為當兩個圖像平面是完全共面行對準時，計算立體視差是最簡單的。但是，在現實的雙目立體視覺系統中，是不存在完全的共面行對準的兩個攝像機圖像平面的。所以我們要進行立體校正。立體校正的目的就是，把實際中非共面行對準的兩幅圖像，校正成共面行對準。如下面示意圖所示。（共面行對準是指：兩攝像機圖像平面在同一平面上，且同一點投影到兩個攝像機圖像平面時，應該在兩個像素坐標系的同一行）

有了上述鋪墊，下面讓玉米給大家陳述一下基于立體標定所獲參數的立體校正的數學原理，或者說是幾何原理。但玉米在這里，主要和大家分享一下，如此校正的物理意義。

???????? 立體校正應該分兩步走：

? ? ? ? ?1、 將兩個圖像平面拉回同一平面。

? ? ? ? ?這一步，該怎么做呢？玉米相信，經過這么多鋪墊，大家應該早就心里有數了。這一步很簡單。可以這樣：兩個平面在方向上 ? ? ? ? ? ?之間不是相差一個旋轉矩陣R嗎，那么我們讓兩個相機個旋轉一半，但需注意二者的旋轉，應該是反向的。如下式所示：

? ? ? ? ?上面的這個公式是玉米根據物理意義自己總結的。r_l 、r_r 分別代表左攝像機和右攝像機為達到共面所需的旋轉矩陣。r_l、r_r程度 ? ? ? ? ? ? 相同，但旋轉方向相反。左右相機分別經歷了這樣的旋轉之后，二者就已經共面了。大家應該明白了吧？

? ? ? ? ? 2、 旋轉圖像使得同行對準

? ? ? ? ?玉米在這里先為大家展示一個，校正成功的圖吧。

? ? ? ? ? ? ? ? ? 大家可以像小學時候寫看圖說話作文一樣，觀察一下圖中校正前和校正后左右兩攝像機的圖像到底發生了什么本質的變 ? ? ? ? ? ? ? ?化。

? ? ? ? ? ? ? ? ? 玉米的答案是：左右兩圖分別繞光軸作了旋轉，旋轉過后兩攝像機的主點連線平行像素坐標的行線。

? ? ? ? ? ? ? ? ? 玉米的答案也是自己對行對準的理解，比較通俗。這與很多書上用極幾何術語描述的有些不同，大家可以思考一下，玉米 ? ? ? ? ? 說的有沒有道理。

? ? ? ? ? ? ? ? ? ?好，既然已經明確了，要達到行對準，圖像所需發生的變化。那么就讓我們用數學表達式來表達它們吧。

? ? ? ? ? 玉米畫了一個簡單的示意圖，畫的丑大家不要見笑。

? ? ? ? ? 紅色的線表示的是校正后的行線，其是左右對準的。大家可以看到，從原圖像的行線轉到校正后圖像的行線，左圖像轉動了α，右圖像轉動了θ。那么怎樣來確定兩個旋轉角度呢？

? ? ? ? ? ?大家可以回憶一下，我們在本系列博文中的第二篇中講述剛體變換時，把旋轉矩陣按不同軸分解的方法。可以看做是沿光軸旋轉，旋轉目的是與主點連線平行。先以左圖像為例：

? ? ? ? ? 那么我們設旋轉矩陣為R _h ,?

? ? ? ? ? 則R_h可以表示為以歸一化T（平移向量）：e₁為旋轉的指針,則隨之e2為e1與光軸的叉積，e3為e2與e1的叉積：

? ? ? ? ? 大家可以進一步算一下：

? ? ? ? ? 我們發現，其實行對準就是繞e3方向，轉了α。同樣的，對右圖就是轉了θ。

? ? ? ? ? 通過上面的推導，我們就把立體標定與立體校正中的數學思想理清楚了。其實，立體匹配是有很多種方法的，玉米在里只是介紹了立體校正的基本原理。其他方法中，有一些可以不依賴標定參數，如果大家想要對立體校正進行深入研究，大家可以搜索一些經典論文進行深入學習。如：A. Fusiello, E. Trucco, and A. Verri.寫的 Acompact algorithm for rectification of stereo pairs.等等

? ? ? ? ?截止目前對于三維重建的所有準備工作，都已完成。幾何框架也僅剩下最后一步：立體成像。（因為本系列博文只介紹雙目視覺的幾何架構，所以跳過匹配不談）玉米在下一篇博文中將與大家分享一下，幾何脈絡的最終果實：立體成像。這也是我們對于雙目視覺幾何框架推導和理解的最終目標。

?

? ? ? ? ?玉米才疏學淺，文中如有紕漏，請大家批評指正！

總結

以上是生活随笔為你收集整理的（七）立体标定与立体校正 【计算机视觉学习笔记--双目视觉几何框架系列】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。