????????圖像拼接技術是數字圖像處理技術一個重要的研究方向，它即是將兩幅或多幅相互有部分重疊的場景照片拼接成具有超寬視角、與原始圖像接近且失真小、沒有明顯縫合線的高分辨率圖像。可以很好地解決廣角鏡、魚眼鏡頭等全景圖獲取設備的不足。如下圖：

????????圖像拼接產生的圖像不僅具有較好的景物全局影像,而且還保留了原始圖像的細節信息。通過圖像拼接技術，可以剔除圖像冗余信息，壓縮信息存儲量，從而更加有效地表示信息。自動建立大型、高分辨率的圖像拼接技術一直是計算機視覺、照相繪圖學、圖像處理和計算機圖形學的活躍研究領域。

一、基本流程

????????早在計算機出現之前圖像拼接技術就應用在實踐中，人們把拍攝的圖像拼接起來得到一幅視角更大的圖像，這便是最初的手工圖像拼接。隨著電子信息技術的不斷發展，現在所說的圖像拼接往往指的是對數字圖像的拼接。目前國內外有很多單位及個人致力于全景圖像的生成和圖像拼接算法的研究。

????????圖像獲取、圖像預處理、圖像配準和融合這四步是圖像拼接的整體流程，其中圖像配準被視為圖像拼接最為關鍵的一步。

1、圖像的獲取

?????獲取圖像的方式不同必將導致輸入圖像的不同，從而需要根據不同的圖像獲取方式選擇不同的圖像配準方法。使用普通相機拍攝圖像時，照相機的運動方式決定著圖像的獲取方式。使用普通相機拍攝時一般有旋轉相機拍攝、平移相機拍攝和手持相機拍攝三種方式。
? ? ? ? （1）使用三腳架旋轉相機進行拍攝：使用這種方法采集圖像時三腳架放置在某一位置不動，照相機繞垂直軸旋轉，每旋轉過一定角度便拍攝一張圖像，相鄰的兩種圖像必須有部分重疊。因為相機固定不需要恢復太多參數，因此比較容易實現圖像的拼接。但是由于這種旋轉拍攝的圖像序列不在同一平面上，若簡單投影到同一平面上會導致圖像發生扭曲等現象使圖像質量下降影響整個圖像拼接結果。旋轉相機拍攝一般需要使用柱面投影或是球面投影來生成全景圖像。這種拍攝方式也需要相鄰的兩幅圖像有較大的重疊區域才能保證圖像拼接的質量，一般選用不小于50%的重疊比例較為合適。而過大的重疊率會導致拼接全景圖時需要更多的圖像，增大需要處理的信息量。為了減小計算量采集圖像時可以適當地使用廣角鏡頭。

????????（2）把相機固定在水平滑軌上，保持相機焦距不變，水平移動相機每隔一定距離拍攝一幅圖像，最后得到有一定重合區域的圖像序列。這種方法獲取的圖像都在一個平面上是比較容易實現圖像的拼接。但是這種方法對拍攝條件的限制比較苛刻，物體和相機的距離也會影響圖像的配準結果，而且這種拍攝方式視點放生改變不適宜用來生成360度全景。

????????（3）手持相機拍攝，可以站在原地旋轉相機進行拍攝，也可以水平移動進行拍攝，這種拍攝方式對拍攝器材的限制比較小只需要一臺相機即可完成拍攝，是最易實現的拍攝方式。但是手持相機拍攝過程中相機的運動非常復雜，勢必會發生難以預料的抖動，旋轉角度或是平移距離都難以精確控制，給圖像配準帶來了很大的困難。但是研究這種相機運動方式復雜情況下拍攝的圖像的拼接對圖像拼接的廣泛應用有著重要的意義。

????????這三種拍攝方式必須面對的同一問題就是相鄰圖像間的光強變化，理想情況下圖像相同區域應該具有相同的光強，但是拍攝過程中光源的變化及相機與光源間角度的變化都是導致圖像的相同區域之間具有不同光強的原因。使用多相機拍攝時不同攝像頭的個體差別也會導致圖像曝光的差異。使用合適的融合方法解決好圖像獲取中的曝光差異也是圖像拼接需要研究的一個重要問題。

2、預處理

????????對圖像的預處理主要包括去噪和校正，去噪不在此細提，主要說明一下校正。在圖像采集的過程中相機的運動會導致圖像發生幾何形變，攝像頭自身的問題也會使采集的圖像無法還原真實世界中的場景，因此對圖像的畸變進行校正是進行全景拼接前必不可少的一步。

????????這里首先研究相機本身系統問題導致的失真。理想情況下的攝像頭可以還原真實世界中的場景，但是由于拍攝方式的問題及攝像機本身光學和電子系統的誤差會使獲取的圖像發生扭曲無法還原真世界中的場景，這種扭曲是不規則的，但是這種扭曲通常情況下是以攝像頭中心為對稱軸成徑向形態對稱的，我們把這種畸變叫做徑向畸變。徑向畸變一般分為桶形失真和枕形失真兩種：

? ? ? ? 在進行預處理時就需要將這些失真進行校正。

3、圖像配準

????????圖像配準可以認為是在不同時間或相同時間、從不同視角或相同視角對同一場景拍攝的兩幅或者多幅圖像進行空間域上的匹配過程?。用于得到輸入圖像之間的對應關系，包括平移、旋轉、縮放等幾何關系以及色差、亮度差等非幾何關系。

????????把兩幅圖像分別定義為已知的二維矩陣， 和 分別表示兩幅圖像的灰度空間分布，則可以利用下面式子來表示兩幅圖像間的映射關系

?

????????式中f 為二維空間域的坐標變換，g 是一維圖像灰度變換，所以圖像配準的問題就是求解最優函數f 和g 的過程。圖像配準的關鍵就在于獲取最合適的空間或幾何變換參數。

????????圖像配準可劃分為以下４個要素：

特征空間：是指從圖像中所提取出來的特征集合，例如角點、灰度與輪廓等；

搜索空間：是指圖像間的幾何變換關系。例如仿射、剛體及投影等形式：

相似度衡量：用于表示圖像間匹配的依據，不同的情況會使用不同的度量方式；

捜索策略：根據度量方式，采用合適的算法進行捜索，目的是得到最佳的變換模型。

????????圖像配準算法主要分為Ｈ個類別；基于變換域、基于灰度信息以及基于特征。

1）基于變換域的配準方法

????????該方式也稱作基于頻率域。處理方式是傅里葉變換。可Ｗ實現空間域到頻域的對應，然后利用功率譜來計算圖像間的幾何關系，再根據結果進行配準。運用傅里葉變換的好處在于：實際中的圖像變換有對應量；對抗噪聲有很好的魯棒性；運用FFT（快速傅里葉變換）可提高速度。

2）基于灰度信息的配準方法

????????基于灰度信息的圖像配準方法，一般來說，不用經過復雜的預處理環節，而是通過圖像本身就有的灰度信息來統計度量圖像間的相似程度。所以，該方式的優缺點也很明顯：優點在于不用提取特征，直按利用圖像的灰度信息，可提高匹配精度和魯棒性；缺點在于因計算鄰域灰度而導致計算量大、速度慢，若圖像間的灰度差異較大時無法保證精確配準。

????????該配準方法有互相關和互信息兩種經典方法。其中，互相關配準方法是通過度量圖像與模板間的相似度來進行配準的。互信息配準法是近年來研究最多的一種配準方法，是通過捜索圖像間最大互信息來進行配準的，常應用于模板匹配或模式識別。

3）基于特征的配準方法

????????該配準方法的思路主要是從圖像中獲取具有顯著特點的局部結構特征，如角點、邊緣線、亮區域的暗點或暗區域的亮點等，再對所提取的特征進行匹配以確定圖像間的對應關系。該方法的優點在于只需要局部顯著特征，對應的計算量小、速度快，而且適用于帶有一定程度噪聲或變形等的情況：缺點是配準的效果受特征提取影響，而且還存在一定的誤匹配情況，若圖像間特性差異大時，誤差較大。常見的特征提取方法有角點檢測法、Forstner算法、SIFT算法和基于小波變換的提取算法及Canny檢測算法等。

4、圖像融合

? ? ? ? 圖像融合技術是在圖像配準之后進行的。該過程是針對上一步處理獲得的兩幅圖像的數據信息，通過采取一定的算法將所包含的信息互補地合并處理，從而得到一幅所含信息更加完整、可靠隊及準確的新圖像。新圖像能比較全面的描述圖像采集場景，與單一圖像作比較，能夠降低或者控制對圖像采集場景整體認知中可能存在的不確定性、片面性及多義性，最大程度地運用圖像序列所提供的信息。總的來說，圖像融合能更好地描述或表達被采集對象或場景，能夠提高對圖像信息的分析、理解及提取等方面的能力。

? ? ? ? 融合算法根據圖像融合特色可分為三個層次，即像素級融合、鉛征集融合和決策級融合。

????????（１）像素級融合

????????該分類是種低水平的圖像融合技術。像素級融合的基本思路就是針對圖像配準后的圖像數據直接進行融合，然后再對融合結果中進行相應的特征提取，并做出必要的屬性說明。其優點在于融合結果能盡可能地保留原始信息，能更好地顯示源圖像中的細節信息；缺點在于融合過程中需要處理的數據量大、所耗費地時間長，即計算和存儲都不方便，并且要求傳感器是同質的。

????????（２）特征級融合

????????這是一種中等水平的圖像融合技術。該分類的基本思路是提取特征并用數學語言加以描述得到特征矢量，最后再通過綜合分析對特征矢量進行融合處理。其優點待處理的信息得到壓縮，從而提高計算速度，有利于實時；缺點是忽略了大量的原始細節信息，導致精度有所降低。

????????（３）決策級融合

????????這是一種高等水平的圖像融合技術。決策級融合的基本思路是對單幅圖像做屬性說明，得到初步決策結果，再對獲得的結果進行融合處理，從何獲取最終的聯合判決。其優點在于信息濃縮，具有一定的容錯性和開放性，處理時間較短；缺點是融合結果效果不準確。

二、拼接質量評價

????????圖像拼接質量的好壞主要體現在兩個方面，即圖像間的亮度一致性與結構一致性，其中亮度一致性主要取決于圖像融合算法的性能，而結構一致性主要取決于圖像配準算法的性能。為得到高質量的全景圖像，許多先進的拼接方法被提出，如何評價這些方法的性能就成為一個重要問題。目前，圖像拼接質量的評價方法主要有兩種：主觀質量評價方法和客觀質量評價方法。

1、主觀質量評價方法

????????主觀質量拼接方法根據觀察者對圖像的主觀視覺感知來評價圖像質量的好壞。在圖像拼接過程中，常見的視覺異常現象（visible artifacts）包括：

模糊（blurring）；

重影（ghosting）；

亮度突變（intensity saltation）；

紋理斷裂（texture crack）；

透視畸變（perspective distortion）

????????對于融合后的全景圖像，通常并不存在用于對比的“真值”（ground truth）。近年來一些無參考圖像下的圖像質量評價指標相繼被提出，它們能夠反映出圖像壓縮或傳輸過程中產生的噪聲對圖像質量的影響。但這些指標并不能客觀有效地識別全景圖像中是否存在上述視覺異常現象，這種情況下對圖像質量的評價依然需要依靠人的常識和經驗，因此，目前對圖像拼接中融合方法性能的評價主要采用主觀質量評價方法。

????????主觀質量評價方法直接依賴于人類視覺系統（human visual system，HVS），因此評價結果最為可靠，但每一幅全景圖像質量的評價都需要觀察者介入，當圖像數據量較大時，評價過程繁復耗時，實際應用中受限較大。

2、客觀質量評價方法

????????客觀質量評價方法使用特定的量化指標對圖像質量進行定量評價。圖像拼接中主要用于評價圖像配準的精確程度，具體地，通過計算重疊區域圖像間的相似程度衡量圖像拼接質量的好壞。目前常用的客觀質量指標主要有：均方誤差（mean square error，MSE），峰值信噪比（peak signal-to-noise ratio，PSNR），歸一化互相關系數（normalized cross-correlation，NCC），零均值歸一化互相關系數（zero mean normalized cross-correlation，ZNCC），結構相似性指數（structuralsimilarity index，SSIM）以及多尺度結構相似性指數（multi-scale structural similarity index，MS-SSIM）等。

總結

以上是生活随笔為你收集整理的全景图像拼接——基本流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。