图像识别入门概述
一、基本概念與原理
1.圖像的組成：指的是圖像的光學(xué)組成概念。圖像是由很多具備色彩種類、亮度等級(jí)信息的基本像素點(diǎn)組成的，是二維圖像用有限數(shù)字?jǐn)?shù)值像素的表示。而數(shù)字圖像又稱為數(shù)碼圖像、數(shù)位圖像。
2.基本過程：
圖像識(shí)別通常有輪廓識(shí)別、特征識(shí)別、色彩識(shí)別、物體識(shí)別等，其中輪廓識(shí)別是重中之重。而圖像識(shí)別的基本流程為：信息獲取圖像采集->圖像預(yù)處理得到特征數(shù)據(jù)->訓(xùn)練過程->識(shí)別。
3.幾個(gè)基本概念：
3.1模式識(shí)別：大致分為結(jié)構(gòu)方法和決策理論方法（又稱統(tǒng)計(jì)方法）。常用方法之一是模板匹配，即在輸入圖像上不斷切割出臨時(shí)圖像，再與模板圖像進(jìn)行匹配。
3.2支持向量機(jī)（SVM）：SVM是從線性可分情況下的最優(yōu)分類超平面發(fā)展而來(lái)的。它是一種分類器，是一種可訓(xùn)練的、基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的通用機(jī)器學(xué)習(xí)方法，時(shí)線性化和升維的過程。
3.3OpenCV:基于BSD許可證授權(quán)發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫(kù)。
3.4LIBSVM：一個(gè)簡(jiǎn)單、易于使用的SVM模式識(shí)別與回歸軟件包。
?
?
二、熱門應(yīng)用與方向：
圖像識(shí)別主要經(jīng)歷了三個(gè)階段：對(duì)文字信息的識(shí)別，對(duì)數(shù)字化信息的識(shí)別，和對(duì)物體的識(shí)別。圖像識(shí)別經(jīng)過這三個(gè)階段不斷發(fā)展，充分發(fā)揮自身特點(diǎn)與優(yōu)勢(shì)，逐步拓展至各個(gè)領(lǐng)域，與各行業(yè)技術(shù)相結(jié)合。圖像識(shí)別技術(shù)的主要應(yīng)用與發(fā)展方向有字符識(shí)別、機(jī)器視覺識(shí)別、圖形圖像識(shí)別、生物醫(yī)學(xué)等。
在交通領(lǐng)域，圖像識(shí)別技術(shù)主要應(yīng)用于ITS系統(tǒng)中，在道路識(shí)別、車輛車牌檢測(cè)等方面展現(xiàn)出巨大優(yōu)勢(shì)；在安防領(lǐng)域，基于圖像識(shí)別技術(shù)的視頻智能分析系統(tǒng)能夠?qū)崿F(xiàn)人臉識(shí)別、人臉支付、智能自動(dòng)化監(jiān)控等；在醫(yī)學(xué)領(lǐng)域，CT技術(shù)實(shí)際上就是圖像識(shí)別技術(shù)的拓展應(yīng)用，微創(chuàng)手術(shù)中的手術(shù)導(dǎo)航技術(shù)也運(yùn)用了圖像識(shí)別技術(shù)，同時(shí)，在心臟、腦結(jié)構(gòu)等器官識(shí)別方面也有著不可替代的地位；而在農(nóng)業(yè)領(lǐng)域，圖像識(shí)別技術(shù)在病蟲害診斷、檢測(cè)農(nóng)作物生長(zhǎng)等方面也發(fā)揮了巨大總用。下面將主要對(duì)從智能識(shí)別車牌和人臉識(shí)別所用到的圖像識(shí)別技術(shù)進(jìn)行闡述。
?
1.智能識(shí)別車牌
1.1圖像特征提取
1.1.1像素特征提取：將圖像像素點(diǎn)黑白二值化（黑色為1，白色為0）。對(duì)1和0進(jìn)行排列，通過維數(shù)和像素點(diǎn)個(gè)數(shù)確定對(duì)應(yīng)的向量矩陣。
1.1.2骨架特征提取：圖像線條寬度會(huì)影響識(shí)別效果，所以要先對(duì)輪廓的寬度進(jìn)行統(tǒng)一處理，再進(jìn)行骨架特征提取，得到對(duì)應(yīng)的特征向量矩陣。
1.1.3圖像特征點(diǎn)提取：主要方法有梯度統(tǒng)計(jì)、弧度統(tǒng)計(jì)、角點(diǎn)提取等。原理是將字符均分為8個(gè)模塊，計(jì)算黑色像素點(diǎn)個(gè)數(shù)作為8個(gè)象限的特征。
?
1.2圖像分割
1.2.1灰度轉(zhuǎn)化：對(duì)256色位圖圖像進(jìn)行灰度化處理，轉(zhuǎn)化為灰度圖像。
1.2.2二值化：將灰度圖像中像素進(jìn)行灰度值獲取分化，處理為黑白二色，結(jié)合閾值法得到轉(zhuǎn)化后的圖像。
1.2.3梯度銳化處理：常用方法為微分法和高通濾波法。利用微分法求得梯度，利用差分運(yùn)算近似值計(jì)算圖像邊緣的像素值，可以使邊緣模糊的圖像清晰化。
1.2.4噪聲處理：圖像處理時(shí)有明顯的信號(hào)集中時(shí)，掃描周邊信號(hào)，若信號(hào)強(qiáng)烈且在一定范圍內(nèi)，則認(rèn)為是非離散信號(hào)；若周邊信號(hào)較弱，則認(rèn)為是離散信號(hào)，需要去除。
1.2.5車牌字符分割算法：主要有垂直投影法、靜態(tài)邊界法及連通區(qū)域法。垂直投影法利用字符塊塊在垂直方向上的投影的特點(diǎn)展開；靜態(tài)邊界法利用車牌的模板進(jìn)行分割；連通區(qū)域法利用字符連通域的特點(diǎn)對(duì)車牌字符進(jìn)行分割。
1.2.6同一圖像中對(duì)不同尺寸、位置的字符進(jìn)行歸一處理：通過等比例縮放、歸一處理等方法，將不同的字符圖像轉(zhuǎn)化為相對(duì)統(tǒng)一的字符，提高識(shí)別準(zhǔn)確率。
?
2.人臉識(shí)別
人臉識(shí)別技術(shù)主要可以分為三類：基于幾何特征的方法、基于模板的方法和基于模型的方法。
2.1基于幾何特征的方法
是最早、最傳統(tǒng)的方法，需與其它算法相結(jié)合才有較好效果。幾何特征最早用于人臉側(cè)面輪廓的描述與識(shí)別。首先根據(jù)側(cè)面輪廓曲線確定若干顯著點(diǎn)，并由這些點(diǎn)導(dǎo)出一組用于識(shí)別的特征度量（如距離、角度）。
可變模型法可視為幾何特征方法的一種改進(jìn)。其思想是設(shè)計(jì)一個(gè)參數(shù)可變的器官模型。定義一個(gè)能量參數(shù)，通過調(diào)整模型參數(shù)使能量函數(shù)最小化，此時(shí)的模型參數(shù)即作為該器官的幾何特征。
?
2.2特征臉法
又稱為基于主成分分析（PCA）的人臉識(shí)別方法。其基本思想是從統(tǒng)計(jì)的觀點(diǎn)，尋找人臉圖像分布的基本元素，即人臉圖像樣本集協(xié)方差矩陣的特征向量，以此近似的表征人臉圖像。
?
2.3基于彈性模型的方法
Lades等人針對(duì)畸變不變形的物體識(shí)別提出了動(dòng)態(tài)鏈接模型。將物體用稀疏圖形來(lái)描述，應(yīng)用塑形圖形匹配技術(shù)來(lái)尋找最近的已知圖形。Nastar將人臉圖像建模成可變形的3D網(wǎng)格表面，將人臉匹配的問題轉(zhuǎn)化為可變性曲面的彈性匹配問題。Lanitis等提出靈活表現(xiàn)模型方法，通過定位人臉的顯著特征點(diǎn)將人臉編碼為83個(gè)模型參數(shù)，并利用辨別分析的方法進(jìn)行基于形狀信息的人臉識(shí)別。
彈性圖匹配技術(shù)是一種基于幾何特征和對(duì)灰度分布信息進(jìn)行小波紋理分析相結(jié)合的識(shí)別算法，由于該算法較好的利用了人臉的結(jié)構(gòu)和灰度分布信息，而且還具有自動(dòng)精確定位面部特征點(diǎn)的功能，因而具有良好的識(shí)別效果，適應(yīng)性強(qiáng)識(shí)別率較高，該技術(shù)在FERET測(cè)試中若干指標(biāo)名列前茅，其缺點(diǎn)是時(shí)間復(fù)雜度高，速度較慢，實(shí)現(xiàn)復(fù)雜。
?
2.4神經(jīng)網(wǎng)絡(luò)方法
神經(jīng)網(wǎng)絡(luò)算法可以通過學(xué)習(xí)的過程獲得對(duì)這些規(guī)律和規(guī)則的隱性表達(dá)，它通過需要將人臉作為一個(gè)一維向量輸入，因此識(shí)別的一個(gè)重要目標(biāo)就是降維處理。
Valentin提出一種方法，首先提取人臉的?50個(gè)主元，然后用自相關(guān)神經(jīng)網(wǎng)絡(luò)將它映射到?5維空間中，再用一個(gè)普通的多層感知器進(jìn)行判別，對(duì)一些簡(jiǎn)單的測(cè)試圖像效果較好；Intrator等提出了一種混合型神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行人臉識(shí)別，其中非監(jiān)督神經(jīng)網(wǎng)絡(luò)用于特征提取，而監(jiān)督神經(jīng)網(wǎng)絡(luò)用于分類。Lee等將人臉的特點(diǎn)用六條規(guī)則描述，然后根據(jù)這六條規(guī)則進(jìn)行五官的定位，將五官之間的幾何距離輸入模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，效果較一般的基于歐氏距離的方法有較大改善，Laurence等采用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行人臉識(shí)別，由于卷積神經(jīng)網(wǎng)絡(luò)中集成了相鄰像素之間的相關(guān)性知識(shí)，從而在一定程度上獲得了對(duì)圖像平移、旋轉(zhuǎn)和局部變形的不變性，因此得到非常理想的識(shí)別結(jié)果，Lin等提出了基于概率決策的神經(jīng)網(wǎng)絡(luò)方法?(PDBNN),其主要思想是采用虛擬?(正反例?)樣本進(jìn)行強(qiáng)化和反強(qiáng)化學(xué)習(xí)，從而得到較為理想的概率估計(jì)結(jié)果，并采用模塊化的網(wǎng)絡(luò)結(jié)構(gòu)?(OCON)加快網(wǎng)絡(luò)的學(xué)習(xí)。
?
?
三、主要算法
1.斑點(diǎn)檢測(cè)原理與舉例：
1.1 LoG與DoH
斑點(diǎn)檢測(cè)的方法主要包括利用高斯拉普拉斯算子檢測(cè)的方法（LOG）,以及利用像素點(diǎn)Hessian矩陣（二階微分）及其行列式值的方法（DOH）。
利用高斯拉普通拉斯（Laplace of Gaussian,LOG）算子檢測(cè)圖像斑點(diǎn)是一種十分常用的方法，對(duì)于二維高斯函數(shù)：
它的規(guī)范化高斯拉普變換為：
因?yàn)槎S高斯函數(shù)的拉普拉斯核很像一個(gè)斑點(diǎn)，所以可以利用卷積來(lái)求出圖像中的斑點(diǎn)狀的結(jié)構(gòu)。
DoH方法就是利用圖像點(diǎn)二階微分Hessian矩陣：
以及它的行列式的值DoH(Determinant of Hessian):
Hessian矩陣行列式的值，同樣也反映了圖像局部的結(jié)構(gòu)信息。與LoG相比，DoH對(duì)圖像中的細(xì)長(zhǎng)結(jié)構(gòu)的斑點(diǎn)有較好的抑制作用。
?
1.2 SIFT
該算法大概可以歸納為三步：1）高斯差分金字塔的構(gòu)建；2）特征點(diǎn)的搜索；3）特征描述。
在第一步中，它用組與層的結(jié)構(gòu)構(gòu)建了一個(gè)具有線性關(guān)系的金字塔結(jié)構(gòu)，讓我們可以在連續(xù)的高斯核尺度上查找特征點(diǎn)。它比LoG高明的地方在于，它用一階高斯差分來(lái)近似高斯的拉普拉斯核，大大減少了運(yùn)算量。
在第二步的特征點(diǎn)搜索中，主要的關(guān)鍵步驟是極值點(diǎn)的插值，因?yàn)樵陔x散的空間中，局部極值點(diǎn)可能并不是真正意義上的極值點(diǎn)，真正的極植點(diǎn)可以落在了離散點(diǎn)的縫隙中。所以要對(duì)這些縫隙位置進(jìn)行插值，然后再求極值點(diǎn)的坐標(biāo)位置。
最后一步，即為特征點(diǎn)的特征描述。特征點(diǎn)的方向的求法是需要對(duì)特征點(diǎn)鄰域內(nèi)的點(diǎn)的梯度方向進(jìn)行直方圖統(tǒng)計(jì)，選取直方圖中比重最大的方向?yàn)樘卣鼽c(diǎn)的主方向，還可以選擇一個(gè)輔方向。在計(jì)算特征矢量時(shí)，需要對(duì)局部圖像進(jìn)行沿主方向旋轉(zhuǎn)，然后再進(jìn)鄰域內(nèi)的梯度直方圖統(tǒng)計(jì)（4x4x8）。
?
1.3 SURF
2006年，Bay和Ess等人基于SIFT算法的思路，提出了加速魯棒特征（SURF）,該算法主要針對(duì)于SIFT算法速度太慢，計(jì)算量大的缺點(diǎn)，使用了近似Harr小波方法來(lái)提取特征點(diǎn)，這種方法就是基于Hessian行列式（DoH）的斑點(diǎn)特征檢測(cè)方法。通過在不同的尺度上利用積分圖像可以有效地計(jì)算出近似Harr小波值，簡(jiǎn)化了二階微分模板的構(gòu)建，搞高了尺度空間的特征檢測(cè)的效率。SURF算法在積分圖像上使用了盒子濾波器對(duì)二階微分模板進(jìn)行了簡(jiǎn)化，從而構(gòu)建了Hessian矩陣元素值，進(jìn)而縮短了特征提取的時(shí)間，提高了效率。
其中和為利用盒子濾波器獲得的近似卷積值。如果大于設(shè)置的門限值，則判定該像素點(diǎn)為關(guān)鍵字。然后與SIFT算法近似，在以關(guān)鍵點(diǎn)為中心的像素鄰域內(nèi)進(jìn)行非極大值抑制，最后通過對(duì)斑點(diǎn)特征進(jìn)行插值運(yùn)算，完成了SURF特征點(diǎn)的精確定位。而SURF特征點(diǎn)的描述，則也是充分利用了積分圖，用兩個(gè)方向上的Harr小波模板來(lái)計(jì)算梯度，然后用一個(gè)扇形對(duì)鄰域內(nèi)點(diǎn)的梯度方向進(jìn)行統(tǒng)計(jì)，求得特征點(diǎn)的主方向。
?
2.角點(diǎn)檢測(cè)與舉例
2.1 Harris角點(diǎn)特征提取
Harris角點(diǎn)檢測(cè)是一種基于圖像灰度的一階導(dǎo)數(shù)矩陣檢測(cè)方法。檢測(cè)器的主要思想是局部自相似性/自相關(guān)性，即在某個(gè)局部窗口內(nèi)圖像塊與在各個(gè)方向微小移動(dòng)后的窗口內(nèi)圖像塊的相似性。在像素點(diǎn)的鄰域內(nèi)，導(dǎo)數(shù)矩陣描述了數(shù)據(jù)信號(hào)的變化情況。假設(shè)在像素點(diǎn)鄰域內(nèi)任意方向上移動(dòng)塊區(qū)域，若強(qiáng)度發(fā)生了劇烈變化，則變化處的像素點(diǎn)為角點(diǎn)。定義的Harris矩陣為：
其中，和分別為點(diǎn)在和方向上的強(qiáng)度信息的一階導(dǎo)數(shù)，為對(duì)應(yīng)位置的權(quán)重。通過計(jì)算Harris矩陣的角點(diǎn)響應(yīng)值R來(lái)判斷是否為角點(diǎn)。其計(jì)算公式為：
其中，det和trace為行列式和跡的操作符，是取值為0.04~0.06的常數(shù)。當(dāng)角點(diǎn)響應(yīng)值大于設(shè)置的門限，且為該點(diǎn)鄰域內(nèi)的局部最大值時(shí)，則把該點(diǎn)當(dāng)作角點(diǎn)。
?
2.2 FAST角點(diǎn)特征提取
基于加速分割測(cè)試的FAST算法可以快速地提取出角點(diǎn)特征。該算法判斷一個(gè)候選點(diǎn)是否為角點(diǎn)，依據(jù)的是在一個(gè)像素點(diǎn)為圓心，半徑為3個(gè)像素的離散化Bresenllam圓周上，在給定閾值的條件下，如果在圓周上有個(gè)連續(xù)的像素灰度值大于或小于。針對(duì)于上面的定義，我們可以用快速的方法來(lái)完成檢測(cè)，而不用把圓周上的所有點(diǎn)都比較一遍。首先比較上下左右四個(gè)點(diǎn)的像素值關(guān)系，至少要有3個(gè)點(diǎn)的像素灰度值大于或小于，則為候選點(diǎn)，然后再進(jìn)一步進(jìn)行完整的判斷。
?
3.二進(jìn)制字符串特征描述子
特征描述是實(shí)現(xiàn)圖像匹配與圖像搜索必不可少的步驟。到目前為止，人們研究了各種各樣的特征描述子，比較有代表性的就是浮點(diǎn)型特征描述子和二進(jìn)帽字符串特征描述子。
3.1 BRIEF算法
BRJEF算法的主要思想是：在特征點(diǎn)周圍鄰域內(nèi)選取若干個(gè)像素點(diǎn)對(duì)，通過對(duì)這些點(diǎn)對(duì)的灰度值比較，將比較的結(jié)果組合成一個(gè)二進(jìn)制串字符串用來(lái)描述特征點(diǎn)。最后，使用漢明距離來(lái)計(jì)算在特征描述子是否匹配。
?
3.2 BRISK算法
BRISK算法在特征點(diǎn)檢測(cè)部分沒有選用FAST特征點(diǎn)檢測(cè)，而是選用了穩(wěn)定性更強(qiáng)的AGAST算法。在特征描述子的構(gòu)建中，BRISK算法通過利用簡(jiǎn)單的像素灰度值比較，進(jìn)而得到一個(gè)級(jí)聯(lián)的二進(jìn)制比特串來(lái)描述每個(gè)特征點(diǎn)，這一點(diǎn)上原理與BRIEF是一致的。BRISK算法里采用了鄰域采樣模式，即以特征點(diǎn)為圓心，構(gòu)建多個(gè)不同半徑的離散化Bresenham同心圓，然后再每一個(gè)同心圓上獲得具有相同間距的N個(gè)采樣點(diǎn)。
由于這種鄰域采樣模式在采樣時(shí)會(huì)產(chǎn)生圖像灰度混疊的影響，所以BRISK算法首先對(duì)圖像進(jìn)行了高斯平滑圖像。并且使用的高斯函數(shù)標(biāo)準(zhǔn)差與各自同心圓上點(diǎn)間距成正比。
?
3.3 ORB算法
ORB算法使用FAST進(jìn)行特征點(diǎn)檢測(cè)，然后用BREIF進(jìn)行特征點(diǎn)的特征描述，但是我們知道BRIEF并沒有特征點(diǎn)方向的概念，所以O(shè)RB在BRIEF基礎(chǔ)上引入了方向的計(jì)算方法，并在點(diǎn)對(duì)的挑選上使用貪婪搜索算法，挑出了一些區(qū)分性強(qiáng)的點(diǎn)對(duì)用來(lái)描述二進(jìn)制串。
?
3.4 FREAK算法
Fast Retina KeyPoint，即快速視網(wǎng)膜關(guān)鍵點(diǎn)。根據(jù)視網(wǎng)膜原理進(jìn)行點(diǎn)對(duì)采樣，中間密集一些，離中心越遠(yuǎn)越稀疏。并且由粗到精構(gòu)建描述子，窮舉貪婪搜索找相關(guān)性小的。42個(gè)感受野，一千對(duì)點(diǎn)的組合，找前512個(gè)即可。這512個(gè)分成4組，前128對(duì)相關(guān)性更小，可以代表粗的信息，后面越來(lái)越精。匹配的時(shí)候可以先看前16bytes，即代表精信息的部分，如果距離小于某個(gè)閾值，再繼續(xù)，否則就不用往下看了。
?
?
四、主流工具庫(kù)比較
?1.OpenCV
功能十分的強(qiáng)大，而且支持目前先進(jìn)的圖像處理技術(shù)，體系十分完善，操作手冊(cè)很詳細(xì)，手冊(cè)首先給大家補(bǔ)計(jì)算機(jī)視覺的知識(shí)，幾乎涵蓋了近10年內(nèi)的主流算法；然后將圖像格式和矩陣運(yùn)算，然后將各個(gè)算法的實(shí)現(xiàn)函數(shù)。該庫(kù)顯示圖像極其方便，但不大穩(wěn)定，對(duì)32F和16S、8U的圖像數(shù)據(jù)支持上bug重重。支持CVS。另外該庫(kù)用的是IPL矩陣庫(kù)，速度較快。
2.CxImage
該開發(fā)包完全開放源代碼，圖像封裝為一個(gè)類，功能極為強(qiáng)大，與Windows、MFC支持極好，支持圖像的多種操作（線性濾波、中值濾波、直方圖操作、旋轉(zhuǎn)縮放、區(qū)域選取、閾值處理、膨脹腐蝕、alpha混合等等），支持從文件、內(nèi)存或者win32api定義的位圖圖像格式中讀取圖像，支持將圖像顯示在任意窗口，而且對(duì)像素的操作很方便，另外還有一個(gè)界面很強(qiáng)的demo，可以直接在上面進(jìn)行二次開發(fā)。但該庫(kù)速度稍慢，不如后面提到的freeimage。
3. CImg
就一個(gè).h文件所以用起來(lái)很簡(jiǎn)明，但功能上不如CxImage全面，可以與CxImage配合使用。CImg提供了基于lapack的矩陣運(yùn)算函數(shù)和完善的線性濾波卷積函數(shù)，使用其做像素運(yùn)算較為方便。另外，獨(dú)有Display類可以方便的實(shí)現(xiàn)各種顯示，包括顯示圖像、打字、畫線等等。
4. FreeImage
C語(yǔ)言的體系，大量使用指針運(yùn)算速度可以保證，內(nèi)含先進(jìn)的多種插值算法。另外獨(dú)有的支持meta exif信息的讀取。該庫(kù)最大的特點(diǎn)就是比較簡(jiǎn)練，只把重點(diǎn)放在對(duì)各種格式圖像的讀取寫入支持上，沒有顯示部分，實(shí)際編程的時(shí)候還是需要調(diào)用API函數(shù)進(jìn)行顯示。
?
?
?
參考文獻(xiàn)：
?
總結(jié)
- 上一篇： 基于神经网络的图像识别
- 下一篇： 基于MATLAB BP神经网络的数字图像