項(xiàng)目目標(biāo)為將一段2D老電影轉(zhuǎn)為3D立體影像，在前期討論中，實(shí)現(xiàn)該目標(biāo)的總體技術(shù)思路為

生成單張rgb影像的深度圖

通過(guò)深度圖生成點(diǎn)云

利用點(diǎn)云通過(guò)移動(dòng)攝像機(jī)的位置，基于共線方程生成另一張立體像對(duì)

對(duì)生成的影像進(jìn)行插值處理

根據(jù)一定原理（偏振光或紅綠立體）將兩張影像疊加生成立體效果

這個(gè)過(guò)程中需要解決的難點(diǎn)有

獲取老電影段落的逐幀影像，以便于批處理

生成單張影像的深度圖技術(shù)

通過(guò)深度圖生成點(diǎn)云

通過(guò)點(diǎn)云生成核線立體影像的方法

其中第四點(diǎn)為本篇的討論點(diǎn)，其實(shí)際上也屬于一種立體匹配。

立體匹配

概念

立體匹配的目標(biāo)是在兩個(gè)或多個(gè)視點(diǎn)中匹配相應(yīng)的像素點(diǎn)，計(jì)算視差。通俗地舉例，就是人的左眼和右眼所看到的兩張影像是不同的、有一定距離的，而立體匹配則是要匹配這兩張影像中的同名點(diǎn)。

點(diǎn)P和Q，映射到左相機(jī)OR像面上的同一點(diǎn)p≡q，只要找到p和q在右相機(jī)OT像面上的對(duì)應(yīng)點(diǎn)就可以通過(guò)三角計(jì)算估計(jì)深度。找到對(duì)應(yīng)點(diǎn)的過(guò)程，即立體匹配。

雙目立體匹配在尋找同名點(diǎn)的過(guò)程中，若沒(méi)有任何先驗(yàn)約束，則對(duì)左影像每個(gè)像素，需要在右影像全圖空間中進(jìn)行搜索，這種暴力搜索方法不僅效率非常低，而且很容易由于各種因素（如弱紋理、重復(fù)紋理等）搜索到錯(cuò)誤的對(duì)應(yīng)點(diǎn)，而利用核線幾何約束則是減小搜索范圍，提高匹配效率且降低錯(cuò)誤匹配的一種有效方法。
P和Q映射到左相機(jī)QR像面上的同一點(diǎn)p≡q，直線pq上的點(diǎn)對(duì)應(yīng)點(diǎn)一定位于右像面的直線p’q’上，p’q’即為直線pq的核線（極線），這就是核線約束（極線約束）。示意圖如下。

更詳細(xì)的說(shuō)明可以參考鏈接https://blog.csdn.net/rs_lys/article/details/83268491

在得到了視差圖d之后，則可以根據(jù)視差獲得深度圖（Z = ( b × f ) / d），示意圖與公式如下

總體來(lái)講，拍攝雙目圖片進(jìn)行立體匹配獲取深度圖，進(jìn)行三維重建等操作的整個(gè)流程大體如下

攝像機(jī)標(biāo)定（包括內(nèi)參和外參）

雙目圖像的校正（包括畸變校正和立體校正）

立體匹配算法獲取視差圖和深度圖

利用視差圖或者深度圖進(jìn)行虛擬視點(diǎn)的合成
在沒(méi)有雙目相機(jī)的情況下，可以使用單個(gè)相機(jī)平行移動(dòng)拍攝，外參可以通過(guò)攝像機(jī)自標(biāo)定算出。 后面這一情況也是項(xiàng)目所需要考慮的。

基于OpenCV以及兩張已有影像進(jìn)行立體匹配和獲取深度圖的方法及示意圖可參考鏈接https://www.cnblogs.com/riddick/p/8486223.html

問(wèn)題

通常來(lái)講，對(duì)兩張影像進(jìn)行了立體匹配獲得了視差之后，就可以根據(jù)視差估計(jì)深度，而在我們的項(xiàng)目中由于只有單張影像，而且是通過(guò)資料中現(xiàn)成的算法來(lái)獲取單張影像的深度的，因此問(wèn)題就變成了如何通過(guò)單張影像以及它的深度圖的點(diǎn)云來(lái)獲取另一張左/右影像。
在項(xiàng)目技術(shù)路線中，是想要通過(guò)共線方程將左影像（例）所生成的點(diǎn)云根據(jù)視差移動(dòng)一部分來(lái)生成右影像。
而點(diǎn)云也是通過(guò)深度圖生成的，所以需要找到深度與視差的關(guān)系。
核線糾正之后的圖像同名點(diǎn)只存在列號(hào)（固定方向上的，通常為縱向【按照攝影測(cè)量坐標(biāo)系】）的差異，這種差異就稱為視差（嚴(yán)謹(jǐn)來(lái)說(shuō)是列方向視差，因?yàn)樾蟹较蛞暡钔ㄟ^(guò)糾正消除，所以對(duì)于核線像對(duì)，視差就指列方向視差），具體來(lái)說(shuō)，視差等于同名點(diǎn)在左影像上的列號(hào)減去在右影像上的列號(hào)。在核線糾正后，相機(jī)坐標(biāo)系的X軸與基線平行，Z軸與像平面垂直。

深度與視差

參考鏈接https://blog.csdn.net/rs_lys/article/details/83268491

可以根據(jù)三角關(guān)系（三角形POlOr和Ppp’相似）

進(jìn)一步有

共線條件方程

由于在項(xiàng)目中，目標(biāo)是要由一張左影像（例）獲取另一張右影像（例），而且是要應(yīng)用在電影中，應(yīng)需要考慮到虛擬攝像機(jī)的設(shè)置，相關(guān)參數(shù)的設(shè)置也要考慮到共線方程。
這一問(wèn)題由于缺乏理解暫不討論，共線方程及其應(yīng)用參考鏈接https://blog.csdn.net/qq_43542818/article/details/111479509，有較為清晰的分情況和相關(guān)場(chǎng)景的舉例分析。

以上參考的鏈接都在文中給出，后續(xù)會(huì)繼續(xù)補(bǔ)充博文。

總結(jié)

以上是生活随笔為你收集整理的单目影像3D化与立体匹配的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。