雙目攝像頭測距算法

輸入輸出接口

Input：

（1）左右兩個(gè)攝像頭采集的實(shí)時(shí)圖像視頻分辨率（整型int）

（2）左右兩個(gè)攝像頭采集的實(shí)時(shí)圖像視頻格式 （RGB，YUV，MP4等）

（3）攝像頭標(biāo)定參數(shù)（中心位置（x,y）和5個(gè)畸變

系數(shù)（2徑向，2切向，1棱向），浮點(diǎn)型float）

（4）攝像頭初始化參數(shù)（攝像頭初始位置和三個(gè)坐標(biāo)方向

的旋轉(zhuǎn)角度，車輛寬度高度車速等等，浮點(diǎn)型float）

Output：

（1）左右兩幀圖像匹配的圖像視頻分辨率（整型int）

（2）左右兩幀圖像匹配的圖像視頻格式（RGB，YUV，MP4等）

（3）左右兩幀圖像image/video
匹配后的深度信息（浮點(diǎn)型float）

（4）目標(biāo)物與攝像頭的距離 （浮點(diǎn)型float）

1. 功能定義

雙目測距實(shí)際操作分4個(gè)步驟：相機(jī)標(biāo)定——雙目校正——雙目匹配——計(jì)算深度信息。

相機(jī)標(biāo)定：攝像頭由于光學(xué)透鏡的特性使得成像存在著徑向畸變，可由三個(gè)參數(shù)k1,k2,k3確定；由于裝配方面的誤差，傳感器與光學(xué)鏡頭之間并非完全平行，因此成像存在切向畸變，可由兩個(gè)參數(shù)p1,p2確定。單個(gè)攝像頭的定標(biāo)主要是計(jì)算出攝像頭的內(nèi)參（焦距f和成像原點(diǎn)cx,cy、五個(gè)畸變參數(shù)（一般只需要計(jì)算出k1,k2,p1,p2，對于魚眼鏡頭等徑向畸變特別大的才需要計(jì)算k3））以及外參（標(biāo)定物的世界坐標(biāo)）。而雙目攝像頭定標(biāo)不僅要得出每個(gè)攝像頭的內(nèi)部參數(shù)，還需要通過標(biāo)定來測量兩個(gè)攝像頭之間的相對位置（即右攝像頭相對于左攝像頭的旋轉(zhuǎn)矩陣R、平移向量t）。

雙目校正：雙目校正是根據(jù)攝像頭定標(biāo)后獲得的單目內(nèi)參數(shù)據(jù)（焦距、成像原點(diǎn)、畸變系數(shù)）和雙目相對位置關(guān)系（旋轉(zhuǎn)矩陣和平移向量），分別對左右視圖進(jìn)行消除畸變和行對準(zhǔn)，使得左右視圖的成像原點(diǎn)坐標(biāo)一致（CV_CALIB_ZERO_DISPARITY標(biāo)志位設(shè)置時(shí)發(fā)生作用）、兩攝像頭光軸平行、左右成像平面共面、對極線行對齊。這樣一幅圖像上任意一點(diǎn)與其在另一幅圖像上的對應(yīng)點(diǎn)就必然具有相同的行號，只需在該行進(jìn)行一維搜索即可匹配到對應(yīng)點(diǎn)。

雙目匹配：雙目匹配的作用是把同一場景在左右視圖上對應(yīng)的像點(diǎn)匹配起來，這樣做的目的是為了得到視差圖。雙目匹配被普遍認(rèn)為是立體視覺中最困難也是最關(guān)鍵的問題。得到視差數(shù)據(jù)，通過上述原理中的公式就可以很容易的計(jì)算出深度信息。

技術(shù)路線方案

雙目視覺廣泛應(yīng)用在機(jī)器人導(dǎo)航，精密工業(yè)測量、物體識別、虛擬現(xiàn)實(shí)、場景重建，勘測領(lǐng)域。

雙目視覺是模擬人類視覺原理，使用計(jì)算機(jī)被動(dòng)感知距離的方法。從兩個(gè)或者多個(gè)點(diǎn)觀察一個(gè)物體，獲取在不同視角下的圖像，根據(jù)圖像之間像素的匹配關(guān)系，通過三角測量原理計(jì)算出像素之間的偏移來獲取物體的三維信息。

它的物理原理是這樣的，首先請看下圖：

圖1. 雙目測距

如圖1，P是待測物體上的某一點(diǎn)，OR與OT分別是兩個(gè)相機(jī)的光心，點(diǎn)P在兩個(gè)相機(jī)感光器上的成像點(diǎn)分別為P和P’（相機(jī)的成像平面經(jīng)過旋轉(zhuǎn)后放在了鏡頭前方），f為相機(jī)焦距，B為兩相機(jī)中心距，Z為我們想求得的深度信息，設(shè)點(diǎn)P到點(diǎn)P’的距離為dis，則：

根據(jù)相似三角形原理：

可得：

公式中，焦距f和攝像頭中心距B可通過標(biāo)定得到，因此，只要獲得了（即視差d）的值即可求得深度信息，即：

假設(shè)目標(biāo)點(diǎn)在左視圖中的坐標(biāo)為（x，y），在左右視圖上形成的視差為d，目標(biāo)點(diǎn)在以左攝像頭光心為原點(diǎn)的世界坐標(biāo)系中的坐標(biāo)為（X，Y，Z），則存在所示的變換矩陣Q，使得。

為了精確地求得某個(gè)點(diǎn)在三維空間里的距離Z，我們需要獲得的參數(shù)有焦距f、視差d、攝像頭中心距B。如果還需要獲得X坐標(biāo)和Y坐標(biāo)的話，那么還需要額外知道左右像平面的坐標(biāo)系與立體坐標(biāo)系中原點(diǎn)的偏移cx和cy。其中f，d，cx和cy可以通過立體標(biāo)定獲得初始值，并通過立體校準(zhǔn)優(yōu)化，使得兩個(gè)攝像頭在數(shù)學(xué)上完全平行放置，并且左右攝像頭的cx，cy和f相同。而立體匹配所做的工作，就是在之前的基礎(chǔ)上，求取最后一個(gè)變量：視差d。從而最終完成求一個(gè)點(diǎn)三維坐標(biāo)所需要的準(zhǔn)備工作。在清楚了上述原理之后，我們也就知道了，所有的這幾步：標(biāo)定、校準(zhǔn)和匹配，都是圍繞著如何更精確地獲得 f，d，B，cx 和cy 而設(shè)計(jì)的。

標(biāo)定：攝像頭標(biāo)定一般都需要一個(gè)放在攝像頭前的特制的標(biāo)定參照物（棋盤紙），攝像頭獲取該物體的圖像，并由此計(jì)算攝像頭的內(nèi)外參數(shù)。標(biāo)定參照物上的每一個(gè)特征點(diǎn)相對于世界坐標(biāo)系的位置在制作時(shí)應(yīng)精確測定，世界坐標(biāo)系可選為參照物的物體坐標(biāo)系。在得到這些已知點(diǎn)在圖像上的投影位置后，可計(jì)算出攝像頭的內(nèi)外參數(shù)。

校準(zhǔn)與匹配：雙目攝像頭標(biāo)定不僅要得出每個(gè)攝像頭的內(nèi)部參數(shù)，還需要通過標(biāo)定來測量兩個(gè)攝像頭之間的相對位置。要計(jì)算目標(biāo)點(diǎn)在左右兩個(gè)視圖上形成的視差，首先要把該點(diǎn)在左右視圖上兩個(gè)對應(yīng)的像點(diǎn)匹配起來。然而，在二維空間上匹配對應(yīng)點(diǎn)是非常耗時(shí)的，為了減少匹配搜索范圍，我們可以利用極線約束使得對應(yīng)點(diǎn)的匹配由二維搜索降為一維搜索。而雙目校正的作用就是要把消除畸變后的兩幅圖像嚴(yán)格地行對應(yīng)，使得兩幅圖像的對極線恰好在同一水平線上，這樣一幅圖像上任意一點(diǎn)與其在另一幅圖像上的對應(yīng)點(diǎn)就必然具有相同的行號，只需在該行進(jìn)行一維搜索即可匹配到對應(yīng)點(diǎn)。

圖2. 雙目校正與匹配

3. 關(guān)鍵技術(shù)參數(shù)和性能指標(biāo)

利用雙目攝像頭的數(shù)據(jù)估計(jì)車輛和車輛距離。假設(shè)攝像頭分辨率1280′720像素，焦距1458像素，角度誤差小于0.5度。下表描述精度指標(biāo)：

表1. 指標(biāo)

總結(jié)

以上是生活随笔為你收集整理的双目摄像头测距算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。