---

0 引言

---

世界坐標(biāo)系下的點(diǎn)如何投影到CCD鏡頭上，通過成像的方式得到點(diǎn)在二維圖像上的像素坐標(biāo)值，這是攝影測量中的一個(gè)基礎(chǔ)而核心的問題。這個(gè)問題中核心的東西有兩個(gè)：1、坐標(biāo)系的定義及其空間轉(zhuǎn)換矩陣 2、成像中的誤差 下面將從這兩個(gè)角度對這個(gè)問題進(jìn)行詳細(xì)探討。文章參考了

# 陳建平： 《相機(jī)成像原理》PPT
https://blog.csdn.net/chentravelling/article/details/53558096
# 《StereoVision》
http://vision.deis.unibo.it/~smatt/Seminars/StereoVision.pdf

另外還有《學(xué)習(xí)opencv》以及《計(jì)算機(jī)視覺中的多視圖幾何》，如有錯(cuò)誤歡迎探討。

---

1 相機(jī)投影中的坐標(biāo)系及其轉(zhuǎn)換關(guān)系

---

　　在《相機(jī)成像原理》中，陳建平指出圖像處理涉及到四個(gè)坐標(biāo)系，如下圖所示。

（1）世界坐標(biāo)系與相機(jī)坐標(biāo)系

　　從世界坐標(biāo)系到相機(jī)坐標(biāo)系屬于剛體變換，即物體不會(huì)發(fā)生形變，只需要進(jìn)行旋轉(zhuǎn)和平移（RT），此為相機(jī)的外參矩陣。

　　在張正友標(biāo)定法中，將世界坐標(biāo)系的原點(diǎn)設(shè)定在棋盤格的左上角點(diǎn)，Z軸垂直于棋盤平面（XOY平面）；相機(jī)坐標(biāo)系的原點(diǎn)在相機(jī)光心，Z軸在光軸上，垂直于成像平面。

（2）相機(jī)坐標(biāo)系與圖像坐標(biāo)系：稱為攝像機(jī)模型以及投影矩陣

（3）圖像坐標(biāo)系與像素坐標(biāo)系

（4）從世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換方程

　　其中，f 為相機(jī)焦距，1/dx （pixel/mm）和 1/dy(pixel/mm)為圖像坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換因子，考慮相機(jī)加工時(shí)每個(gè)成像單元不完全為矩形，因此在x和y方向采用了不同的比例尺進(jìn)行轉(zhuǎn)換。

（5）綜述　　

　　以棋盤為例，可以棋盤的左上角點(diǎn)為原點(diǎn)，橫向?yàn)閄軸，縱向?yàn)閅軸，垂直方向?yàn)閆軸方向建立世界坐標(biāo)系。這個(gè)坐標(biāo)系是目標(biāo)物體的自有坐標(biāo)系，可以用來描述相機(jī)的位置，作為雙目視覺系統(tǒng)的參考系，從而求出相機(jī)之間的相對關(guān)系。如果選擇左相機(jī)的光心和光軸建立世界坐標(biāo)系，則左相機(jī)的相機(jī)坐標(biāo)系和世界坐標(biāo)系重合，右相機(jī)和左相機(jī)的相對位置關(guān)系可以很輕易地描述出來。以每個(gè)相機(jī)拍攝出來的照片的中心位置為基準(zhǔn)建立的圖像坐標(biāo)系是一個(gè)二維的坐標(biāo)系。而表示在opencv中的像素坐標(biāo)采用的是像素坐標(biāo)系，這兩個(gè)坐標(biāo)之間存在一個(gè)（u0，v0）的偏差。

---

2 成像中的誤差

---

（1）光芯偏移誤差與單像素點(diǎn)矩形（非正方形）誤差

　　通常來說，芯片的中心不在光軸上，因此我們引入兩個(gè)新的參數(shù)cx和cy，對可能的偏移進(jìn)行建模；

　　在應(yīng)對單像素點(diǎn)非正方形時(shí)，引入1/dx （pixel/mm）和 1/dy(pixel/mm)為圖像坐標(biāo)系到像素坐標(biāo)系在x和y方向上的轉(zhuǎn)換因子。

　　得到的內(nèi)參轉(zhuǎn)換矩陣為：

　　相比于上面的相機(jī)內(nèi)參矩陣，在參數(shù)數(shù)量上沒有發(fā)生變化，只不過含義發(fā)生了變化，因此不影響求解過程。通常采用張正友標(biāo)定發(fā)求解這部分誤差（opencv）

（2）透鏡畸變

　　優(yōu)點(diǎn)：利用透鏡收集更多的光線；

　　缺點(diǎn)：背離了針 孔幾何模型，而且引入透鏡的畸變。

　　畸變是透鏡固有的特性，凸透鏡匯聚光線，凹透鏡發(fā)散光線，所以無法消除，只能改善。

　　主要包括徑向和切向畸變，是一個(gè)五維的畸變參數(shù)向量。徑向畸變來自于透鏡形狀，而切向畸變則來自于整個(gè)攝像機(jī)的組裝過程。

徑向畸變包括桶形畸變和枕形畸變，通常表現(xiàn)為遠(yuǎn)離透鏡中心的光線彎曲比靠近中心的嚴(yán)重。之所以在加工透鏡時(shí)要引入該畸變是為了壓縮透鏡體積，并且增加通光量，擴(kuò)大透鏡的視角，讓透鏡看到更多東西。

切向畸變是由于透鏡制造上的缺陷，使得透鏡本身與圖像平面不平行而產(chǎn)生的。通常采用brown的方法求解這部分誤差（opencv）

---

3 相機(jī)標(biāo)定過程中的內(nèi)參、外參與畸變參數(shù)求解

---

　　這部分主要參考了《學(xué)習(xí)opencv》與《計(jì)算機(jī)視覺中的多視圖幾何》.求解相機(jī)內(nèi)外參數(shù)的過程稱為標(biāo)定，有自標(biāo)定和基于標(biāo)定板兩種方式。

（1）平面單應(yīng)性矩陣求解

　　在計(jì)算機(jī)視覺中，平面的單應(yīng)性被定義為從一個(gè)平面到另一個(gè)平面的投影映射，如圖所示。

因此，一個(gè)二維平面上的點(diǎn)映射到攝像機(jī)成像儀上，就是平面單應(yīng)性的例子。以張正友標(biāo)定法中的棋盤格為例，通過拍攝一組在小范圍內(nèi)變換姿態(tài)的棋盤格，可以獲得一組單應(yīng)矩陣，可以解決以下問題。

　　1、表述真實(shí)世界中一個(gè)平面與對應(yīng)它圖像的透視變換：從世界坐標(biāo)系到像素坐標(biāo)系。

　　2、通過透視變換實(shí)現(xiàn)圖像從一種視圖變換到另外一種視圖

因此，單應(yīng)性矩陣描述了從物體平面到圖像平面的映射，同時(shí)表征了這兩個(gè)平面的的相對位置（物理變換）以及攝像機(jī)投影矩陣（內(nèi)參矩陣投影變換）。

其數(shù)學(xué)表示形式如下。

其中， Q為點(diǎn)在世界坐標(biāo)系下的點(diǎn)，在標(biāo)定時(shí)，建立以棋盤格的左上角點(diǎn)定義為原點(diǎn)，垂直方向定義為Z軸的世界坐標(biāo)系；

q為點(diǎn)做像素坐標(biāo)系下的點(diǎn)，s為尺度轉(zhuǎn)換因子，通常根據(jù)習(xí)慣放在H的外面；

H為單應(yīng)性矩陣，H = M * W 為內(nèi)參矩陣與外參矩陣的乘積。

M =, W = [R T] ，是3*4矩陣

為了簡化求解過程，把世界坐標(biāo)系構(gòu)造在Z=0的平面上； 此時(shí)，其中一個(gè)列變量就不需要了，H也從3*4的矩陣被簡化為3*3矩陣。這個(gè)過程的數(shù)學(xué)描述如下。

opencv使用上述公式來計(jì)算單應(yīng)性矩陣。它使用同一個(gè)物體的多個(gè)圖像來計(jì)算每個(gè)視場的旋轉(zhuǎn)和平移，同時(shí)也計(jì)算攝像機(jī)的內(nèi)參數(shù)（對所有視場不變）。

（2）棋盤角點(diǎn)個(gè)數(shù)和參數(shù)個(gè)數(shù)

　　K個(gè)棋盤圖像，每個(gè)圖像N個(gè)角點(diǎn)，在求解時(shí)的為了得到結(jié)果，約束的數(shù)量必須大于求解參數(shù)的數(shù)量。方程如下：

2 * N * K  > 6 * K + 4   // 2表示每個(gè)像素角點(diǎn)有兩個(gè)坐標(biāo)（x, y）, 6K 表示K幅圖像有6K這么多個(gè)外參數(shù)， 4表示內(nèi)參矩陣，固定不變

在實(shí)際使用中，為了得到高質(zhì)量結(jié)果，通常會(huì)使約束的數(shù)量足夠大，比如采用 10幅 7* 8的左右視圖解單應(yīng)矩陣，則上述不等式為

2 * 7*8 * 10  > 6 * 10 + 4
即
1120 > 64 

采用非線性最小二乘優(yōu)化方法即可解得單應(yīng)性矩陣。

（3）單應(yīng)性矩陣分解得到內(nèi)外參矩陣

QR分解，將滿秩的單應(yīng)矩陣分解得到一個(gè)上三角陣和一個(gè)正交陣；為了保證唯一性，可以令

　　1、圖像的X/Y軸所指方向與相機(jī)的X/Y軸方向相同

　　2、相機(jī)處于z軸正方向

可以得到唯一解。

（4）畸變參數(shù)求解

其中，[x′,y′]為畸變矯正后的位置，[x,y]為畸變前的位置,[ki,pi][ki,pi]為畸變系數(shù)。

---

4 單目標(biāo)定與雙目標(biāo)定

---

（1）單目標(biāo)定

參考以下鏈接

https://www.cnblogs.com/zhazhiqiang2018/p/9537663.html#_Toc3638

（2）雙目標(biāo)定

參考以下鏈接

https://www.cnblogs.com/zhazhiqiang2018/p/9538986.html

（3）單雙目視覺標(biāo)定的不同點(diǎn)

　　單目標(biāo)定的結(jié)果是一組攝像機(jī)內(nèi)參矩陣、畸變參數(shù)和與圖像數(shù)量相同的外參矩陣；

　　雙目標(biāo)定的結(jié)果是在每個(gè)相機(jī)單目標(biāo)定的基礎(chǔ)上，進(jìn)而推算兩個(gè)相機(jī)之間的變換矩陣。即兩組攝像機(jī)內(nèi)參矩陣、畸變參數(shù)和一個(gè)右相機(jī)到左相機(jī)的變換矩陣。

總結(jié)

以上是生活随笔為你收集整理的61 相机投影原理、相机模型中的坐标系统以及标定方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。