轉(zhuǎn)載：http://blog.csdn.NET/yvonnezju/article/details/40982192

這一篇，要搞清楚兩個(gè)概念，Planar Homography （共面點(diǎn)成像）& Epipolar Geometry（對(duì)極幾何）

Now，Start！

先補(bǔ)充Homography的概念，簡(jiǎn)單來(lái)說(shuō)Homography（單應(yīng)性），說(shuō)的是投影的時(shí)候可以逆過(guò)來(lái)找，比如,一個(gè)物體可以通過(guò)旋轉(zhuǎn)相機(jī)鏡頭獲取兩張不同的照片(這兩張照片的內(nèi)容不一定要完全對(duì)應(yīng),部分對(duì)應(yīng)即可),我們可以把單應(yīng)性設(shè)為一個(gè)二維矩陣M,那么照片1乘以M就是照片2. 這有著很多實(shí)際應(yīng)用，比如圖像校正、圖像對(duì)齊或兩幅圖像之間的相機(jī)運(yùn)動(dòng)計(jì)算（旋轉(zhuǎn)和平移）等。一旦旋轉(zhuǎn)和平移從所估計(jì)的單應(yīng)性矩陣中提取出來(lái)，那么該信息將可被用來(lái)導(dǎo)航或是把3D物體模型插入到圖像或視頻中，使其可根據(jù)正確的透視來(lái)渲染，并且成為原始場(chǎng)景的一部分（請(qǐng)見(jiàn)增強(qiáng)現(xiàn)實(shí)）。

具體的解釋可以戳wiki。

一、共面點(diǎn)成像

思路：同一物理點(diǎn)，不同成像面之間的關(guān)系。

在前面已經(jīng)討論了三維物體成像過(guò)程，相比之下，還有一種稍簡(jiǎn)單的情況——平面成像，即所有的物點(diǎn)都處在同一個(gè)平面上，我們有理由相信，這種情況下的成像關(guān)系是一般立體成像的一種特例。

先回顧一下一般的單體成像過(guò)程

?

對(duì)于共面的物點(diǎn)，在恰當(dāng)?shù)氖澜缱鴺?biāo)系中，可以令其中一個(gè)坐標(biāo)值為0，不妨設(shè)第三維坐標(biāo)為0，圖示如下：

由于物點(diǎn)的第三維坐標(biāo)為0，整個(gè)成像過(guò)程的矩陣表示會(huì)得到簡(jiǎn)化。

可以簡(jiǎn)化為一個(gè)3X3的矩陣，稱(chēng)之為Homography矩陣，該矩陣是可逆的!!

對(duì)于正前方的物體平面(垂直于光軸)，成像關(guān)系將更進(jìn)一步簡(jiǎn)化。

將共面物點(diǎn)經(jīng)成像之后，再變換為數(shù)字圖像(u,v)

研究共面點(diǎn)成像有什么意義呢？

原來(lái)是為了研究?jī)煞鶊D之間的關(guān)系!共面點(diǎn)成像過(guò)程總結(jié)如下：

應(yīng)用之一：消除透視投影的失真

應(yīng)用之二：圖像拼接

在這些應(yīng)用中，需要解決兩個(gè)關(guān)鍵問(wèn)題：

1. 如何確定兩幅圖像之間的變換關(guān)系(需要多少個(gè)已知點(diǎn)？如何計(jì)算？)

2. 如何生成新的像素點(diǎn)，即在拉伸或拼接之后，需要生成新的像素點(diǎn)。

選擇第一種約束關(guān)系

可以寫(xiě)在線性方程組或矩陣的形式

在實(shí)際求解變換矩陣時(shí)，需要考慮數(shù)值計(jì)算的問(wèn)題。

R.Hartley: “In Defense of the Eight Point Algorithm”
Observation: Linear estimation of projective transformation parameters from point correspondences often suffer from poor “conditioning” of the matrices involves. This means the solution is sensitive to noise in the points (even if there are no outliers).
To get better answers, precondition the matrices by performing a normalization of each point set by:
? translating center of mass to the origin
? scaling so that average distance of points from origin is sqrt(2).
? do this normalization to each point set independently

采用第二種約束關(guān)系

二、對(duì)極幾何

　　先思考一個(gè)問(wèn)題：用兩個(gè)相機(jī)在不同的位置拍攝同一物體，如果兩張照片中的景物有重疊的部分，我們有理由相信，這兩張照片之間存在一定的對(duì)應(yīng)關(guān)系，本節(jié)的任務(wù)就是如何描述它們之間的對(duì)應(yīng)關(guān)系，描述工具是對(duì)極幾何 ，它是研究立體視覺(jué)的重要數(shù)學(xué)方法。

　　要尋找兩幅圖像之間的對(duì)應(yīng)關(guān)系，最直接的方法就是逐點(diǎn)匹配，如果加以一定的約束條件對(duì)極約束(epipolar constraint)，搜索的范圍可以大大減小。

　　先回顧簡(jiǎn)單的立體成像系統(tǒng)

對(duì)極約束的圖示

更一般的立體成像關(guān)系：兩個(gè)相機(jī)的坐標(biāo)無(wú)任何約束關(guān)系，相機(jī)的內(nèi)部參數(shù)可能不同，甚至是未知的。要刻畫(huà)這種情況下的兩幅圖像之間的對(duì)應(yīng)關(guān)系，需要引入兩個(gè)重要的概念——對(duì)極矩陣(Epipolar Matrix)和基本矩陣(Fundamental Matrix)。

對(duì)極幾何中的重要概念（參考下圖）：

極點(diǎn)：極點(diǎn)el:右相機(jī)坐標(biāo)原點(diǎn)在左像平面上的像；極點(diǎn)er:左相機(jī)坐標(biāo)原點(diǎn)在右像平面上的像

極平面：由兩個(gè)相機(jī)坐標(biāo)原點(diǎn)Ol、Or和物點(diǎn)P組成的平面

級(jí)線：極平面與兩個(gè)像平面的交線，即plel和prer

級(jí)線約束：兩極線上點(diǎn)的對(duì)應(yīng)關(guān)系

有點(diǎn)煩人，先轉(zhuǎn)移一下話題：What would Pinhead’s eye look like close up?

?

如果兩個(gè)人同時(shí)看這一景物，將是什么樣的呢？

?

再回到對(duì)極幾何圖上來(lái)，通過(guò)上面幾幅圖示，利用對(duì)極幾何的約束關(guān)系，我們可以：

1. 找到物點(diǎn)P在左像平面上的像點(diǎn)pl；

2. 畫(huà)出極線plel；

3. 找到極平面Olplel與右像平面的交線，即得極線prer；

4. 像點(diǎn)pl的對(duì)應(yīng)點(diǎn)一定在極一prer上。

兩個(gè)相機(jī)坐標(biāo)系之間的關(guān)系為

由于R是正交矩陣，因此可寫(xiě)為

三向量共面，它們的混合積為零(混合積對(duì)應(yīng)于有向體積)

將向量乘(叉乘)寫(xiě)成矩陣的形式

通過(guò)進(jìn)一步的改寫(xiě)，可以得到左像點(diǎn)和右像點(diǎn)之間約束關(guān)系(非常簡(jiǎn)單、漂亮)

顯然，左像點(diǎn)pl和右像點(diǎn)pr是通過(guò)矩陣E=RS來(lái)約束的，我們稱(chēng)矩陣E為本質(zhì)矩陣(Essential Matrix)，它的基本性質(zhì)有：

? has rank 2(秩為2)

? depends only on the EXTRINSIC Parameters (R & T)(僅依賴(lài)于外部參數(shù)R和T)

總結(jié)

以上是生活随笔為你收集整理的Planar Homography （共面点成像） Epipolar Geometry（对极几何）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。