压缩感知基本概括——三大基本问题
壓縮感知是對(duì)于N維的信號(hào)x,使用小的觀測維數(shù)M?N,設(shè)計(jì)一個(gè)M*N的測量矩陣Φ,得到測量結(jié)果y=?x,最終通過測得的y和已知的矩陣Φ來求得信號(hào)x。
x信號(hào)特點(diǎn):具有稀疏性。即信號(hào)本身或者使用一組基地展開后大多數(shù)系數(shù)為0。
在壓縮感知研究中主要有三個(gè)問題
?
1.如何找到稀疏信號(hào)或者說如何使得信號(hào)變成稀疏信號(hào)
2.找到合適的測量矩陣Φ,測量矩陣必須滿足一定條件才能正確恢復(fù)信號(hào)
3.從測得的y中恢復(fù)出最開始的x信號(hào)。
一:如何使得信號(hào)變成稀疏信號(hào)——信號(hào)稀疏表示和分解方法
一般的信號(hào)都不滿足稀疏性的條件,這個(gè)時(shí)候我們就要考慮將此信號(hào)轉(zhuǎn)換到其他空間域以實(shí)現(xiàn)稀疏表示。例如幾個(gè)正弦信號(hào)疊加的信號(hào)在時(shí)域是連續(xù)的,我們可以通過傅里葉變換將原始信號(hào)變成在頻域上只有幾個(gè)頻率的稀疏信號(hào)。
信號(hào)的稀疏表示就是在選擇一組基函數(shù),使用該基函數(shù)的少量線性組合準(zhǔn)確表達(dá)原始信號(hào),此時(shí)該基下的分解表示結(jié)果呈現(xiàn)出稀疏性。變換后信號(hào)的非零項(xiàng)個(gè)數(shù)K反映信號(hào)固有的自由度,可以用向量的Lo范數(shù)來表達(dá)向量中非零元素的個(gè)數(shù)。
信號(hào)變換的本質(zhì)就是通過不同的角度不同的方法去“觀察認(rèn)識(shí)一個(gè)信號(hào)”。
那具體怎么找到適合原始信號(hào)的稀疏表示方法呢?一般有兩種方法
1.一般基函數(shù)下的稀疏逼近
與過完備字典相對(duì)應(yīng),一般的標(biāo)準(zhǔn)正交基函數(shù)稱為完備字典。相對(duì)來說這種基函數(shù)是簡易的但不靈活的。就相當(dāng)于找一組基函數(shù)來分解信號(hào),可以類似于傅里葉變換。
常用的基函數(shù)(完備字典)有:沖激函數(shù)字典,單位階躍字典,傅里葉基和時(shí)間-尺度變換(小波變換)
2.過完備字典下的稀疏逼近
?
?
(兩個(gè)需要解決的問題 a找到過完備字典 b從過完備字典中找到與信號(hào)特點(diǎn)匹配的K個(gè)原子)
a:典型過完備字典
建立在標(biāo)準(zhǔn)正交基下的信號(hào)分解有一定局限性,對(duì)于信號(hào)都采用相同的基函數(shù)(相當(dāng)于對(duì)所有的信號(hào)都粗暴的采用傅里葉變換,但是信號(hào)不一定都能達(dá)到優(yōu)良的頻域稀疏),使用過完備字典,字典一般維數(shù)大于N維,從字典中選擇最適應(yīng)信號(hào)特點(diǎn)的基函數(shù)來進(jìn)行非線性稀疏逼近。
對(duì)于某個(gè)字典D,有L個(gè)原子(L?N),對(duì)于信號(hào)x,在過完備字典中選取K個(gè)原子對(duì)信號(hào)做K項(xiàng)逼近。定義逼近誤差,我們希望從D各種可能的組合中找到分解系數(shù)最稀疏的一組。
典型的過完備字典有:
由精細(xì)采樣生成的字典(例如傅里葉基增加更多的頻率波形)
?
?
Gabor字典
小波包與余弦包字典
?
?
級(jí)聯(lián)字典(多個(gè)完備字典級(jí)聯(lián))
?
框架
b:過完備稀疏分解方法
一個(gè)重要的研究方向就是利用數(shù)學(xué)方法找到在信號(hào)在過完備字典中的最稀疏表達(dá),這是一個(gè)NP-Hard問題,(NP指非確定性多項(xiàng)式,NP-Hard是指用一定數(shù)量的運(yùn)算去解決多項(xiàng)式時(shí)間內(nèi)可解決的問題)理論上很難求解,通過一定的近似轉(zhuǎn)換成L1范數(shù)優(yōu)化求解問題,通過線性規(guī)劃來解決。
幾種常用的稀疏分解算法:
1.基追蹤(BP)算法
2.貪婪匹配追蹤(MP)算法
3.正交匹配追蹤(OMP)算法
二:如何從測得的y中恢復(fù)出原始信號(hào)x——稀疏信號(hào)的恢復(fù)
之所以先講信號(hào)的恢復(fù)而將矩陣的選擇放到第三部分的原因是因?yàn)榫仃囆再|(zhì)和矩陣的設(shè)計(jì)是由信號(hào)恢復(fù)算法決定的。
稀疏信號(hào)的恢復(fù)類似于一個(gè)解碼過程,通過y反求信號(hào)x,這是一個(gè)從低維度的y而求出高維度x的問題,一般來說會(huì)有無窮多個(gè)解,而我們要做的就是利用信號(hào)稀疏性的特征找出無窮多個(gè)解里面的最優(yōu)解??梢院茏匀坏南氲綇臒o窮多個(gè)解中找到最稀疏的那個(gè)解。這是一個(gè)L0范數(shù)的規(guī)劃問題。
P0:min‖x‖_0? ? ?s.t.?x=y
(規(guī)劃問題的解為滿足?x=y中非0元素?cái)?shù)目最少的x)
上面的解又是一個(gè)NP-Hard問題,我們可以跟稀疏表示方法一樣的思路——轉(zhuǎn)換成求L1范數(shù)的線性規(guī)劃問題。
P1:min‖x‖_1? ? s.t.?x=y
(L1范數(shù)問題實(shí)際上是一個(gè)線性規(guī)劃問題,求滿足條件的原子的和的最小值)
問題來了:怎么才能把一個(gè)NP-Hard難的L0范數(shù)問題轉(zhuǎn)換成線性規(guī)劃問題L1問題呢?
這個(gè)問題就涉及到矩陣的選擇,只要矩陣滿足一定的性質(zhì),就能保證L0范數(shù)問題和L1范數(shù)問題的解一致。這個(gè)性質(zhì)有多種表示方法會(huì)在第三講中討論。用的最廣的一種表示方法就是——矩陣RIP性質(zhì)。
本講的重點(diǎn)放在求解L1范數(shù)的觀測次數(shù)和信號(hào)重構(gòu)算法上
1.L1范數(shù)的觀測次數(shù)
我們只知道壓縮感知的核心在降維運(yùn)算——使用盡可能少的探測維度探測高維度的信號(hào),那么如果選擇L1范數(shù)法來恢復(fù)信號(hào),要精確恢復(fù)稀疏信號(hào)x,觀測次數(shù)M至少為多少呢?
根據(jù)相關(guān)定理最小觀測次數(shù)M=O(k log?(N/k) )
?
2.信號(hào)重構(gòu)算法
a.最小化L1范數(shù)算法—基追蹤算法(BP)
基追蹤問題是基于線性規(guī)劃的凸優(yōu)化問題,追求全局最優(yōu),對(duì)噪聲抑制能力強(qiáng)但是計(jì)算量巨大。包括內(nèi)點(diǎn)法,同倫算法等
b.貪婪類(匹配追蹤算法)
追求局部最優(yōu),計(jì)算速度較快
主要包括:匹配追蹤(MP),正交匹配追蹤(OMP),正則化正交匹配追蹤(ROMP),壓縮感知匹配追蹤(CoSaMP)
c.梯度類算法——二維稀疏圖像的重構(gòu)
d.直接針對(duì)L0范數(shù)求解——迭代閾值算法
三:測量矩陣的設(shè)計(jì)
在壓縮感知中要想很好的恢復(fù)出稀疏信號(hào),就需要測量矩陣的性能配合。不同的測量矩陣對(duì)于測量次數(shù)和恢復(fù)質(zhì)量都會(huì)產(chǎn)生不同的影響。
那么測量矩陣到底需要具有什么樣的性質(zhì)才能保證從觀測數(shù)據(jù)中準(zhǔn)確重構(gòu)信號(hào)呢?
最常用的一條就是滿足受限等距性質(zhì)(RIP)
RIP性質(zhì)定義:
如果存在常數(shù)δ_k∈[0,1)使得所有的向量x,‖x‖_0≤k都滿足:
(1-δ_k ) ‖x‖_2^2≤‖?x‖_2^2≤(1+δ_k ) ‖x‖_2^2
則矩陣?滿足K階RIP性質(zhì),簡記為RIP-(K,δ_k)
滿足K階RIP性質(zhì)的矩陣隨機(jī)抽取其中K列,這些列之間是近似正交的。RIP常數(shù)δ_k越接近0,其任取k列所形成的子矩陣就越近于正交。
只有矩陣滿足RIP-(2K,√2-1),求解l1范數(shù)最小化問題就可以恢復(fù)所有的K-稀疏信號(hào)。
那么如何構(gòu)造滿足RIP性質(zhì)的矩陣呢?
1.隨機(jī)矩陣:Gaussian隨機(jī)矩陣和Bernoulli隨機(jī)矩陣
2.確定性矩陣——基于矩陣的列相干性
3.結(jié)構(gòu)隨機(jī)矩陣
?
最近剛接觸壓縮感知領(lǐng)域,以上是梳理的關(guān)于壓縮感知的重要知識(shí)的學(xué)習(xí)筆記,以后應(yīng)該還會(huì)進(jìn)一步學(xué)習(xí)測量矩陣的設(shè)計(jì)和信號(hào)重構(gòu)算法,新手啊難免有錯(cuò)誤,歡迎大家指正,也非常歡迎與我交流壓縮感知的學(xué)習(xí)心得~~
?
總結(jié)
以上是生活随笔為你收集整理的压缩感知基本概括——三大基本问题的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 快速找到 Linux Kernel 中各
- 下一篇: R6025 - pure virtual