深度学习MRI重建综述
參考文章：
?
A review and experimental evaluation of deep learningmethods for MRI reconstruction
文字有點亂，可以看表格
| 基于展開的方法 | Yang et al. (2018) | ADMM-Net | CNN | 將ADMM算法展開成深度網(wǎng)絡(luò)，網(wǎng)絡(luò)層數(shù)代表迭代次數(shù)，模型的超參數(shù)成為網(wǎng)絡(luò)中的參數(shù)。 | ADMM |
| Hammernik et al. (2018) | Variational-Net | CNN | 通過將展開的梯度下降應(yīng)用至變分模型與深度學習相結(jié)合的變分網(wǎng)絡(luò)，可以快速、高質(zhì)量地重建加速多線圈 MR 數(shù)據(jù)。 | Gradient Decent | |
| Zhang et al. (2018) | ISTA-Net | CNN | 將網(wǎng)絡(luò)的每一層對應(yīng)于迭代軟閾值算法(ISTA-Net)的一次迭代運算。該方法很好的結(jié)合了傳統(tǒng)迭代算法和深度網(wǎng)絡(luò)算法的優(yōu)勢，既大大提高了計算效率，又賦予了網(wǎng)絡(luò)明確的可解讀性。 | ISTA | |
| Aggarwal et al. (2019) | MoDL | CNN | 在網(wǎng)絡(luò)中使用數(shù)值優(yōu)化塊（如共軛梯度算法）來增強數(shù)據(jù)一致性來代替梯度下降法，這種方法能在每次迭代中提供更快的收斂速度。 | AM | |
| Schlemper et al. (2018) | DCCNN | CNN | 使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深層級聯(lián)從欠采樣數(shù)據(jù)中重建2D心臟磁共振（MR）圖像的動態(tài)序列，以加速數(shù)據(jù)采集過程。 | AM | |
| Cheng et al. (2019) | PD-Net | CNN | 將原始對偶混合梯度算法（PDHG）的迭代展開為可學習的深度網(wǎng)絡(luò)架構(gòu)，并逐漸放寬約束以從高度欠采樣的k空間數(shù)據(jù)重建MR圖像。 | PDHG |
| 基于端到端的方法 | Zhu et al. (2018) | AUTOMAP | MLP, CNN | 將圖像重建轉(zhuǎn)化為數(shù)據(jù)驅(qū)動的監(jiān)督學習任務(wù)，使用由全連接層和稀疏卷積自動編碼器組成的深度神經(jīng)網(wǎng)絡(luò)前饋框架 |
| Mardani et al. (2019) | GANCS | GAN | 使用GAN網(wǎng)絡(luò)的優(yōu)勢訓(xùn)練來自歷史患者的臨床MR 圖像的（低維）流形。利用最小二乘GAN和像素級l1損失的混合損失，生成器為具有跳躍連接的深度殘差網(wǎng)絡(luò)。 | |
| Yang et al. (2018) | DAGAN | GAN | 將圖像損失、頻率損失、對抗損失、感知損失聯(lián)合起來作為訓(xùn)練損失，顯著提升了重建圖像的質(zhì)量。 | |
| Yuan et al. (2020) | SAGAN | GAN | 在生成器中引入了自注意機制，建立了圖像的長距離相關(guān)性，克服了卷積核大小有限的問題。此外，還采用了譜歸一化來穩(wěn)定訓(xùn)練過程。 | |
| Feng et al. (2021) [34] | MTrans | Transformer | 首次將Transformer應(yīng)用于MRI重建，將多尺度特征從目標模態(tài)傳輸?shù)捷o助模態(tài)，用于加速MR成像。為了捕獲深層的多模態(tài)信息，采用了一種改進的多頭注意機制，稱為交叉注意模塊。 |
經(jīng)典重建--多線圈MRI重建
傅里葉變換從k空間得到圖像
η：測量噪聲
?
?Si：多線圈敏感度，i表示第幾個線圈，M表示掩膜
?
最小化損失函數(shù)從而估計x，如果我們希望在優(yōu)化過程中計算誤差梯度，這個平方損失函數(shù)就相當方便。
如果數(shù)據(jù)采樣不足，通常會添加一個正則器R(x)來解決這樣一個條件不佳的成本函數(shù)
?
Ri是正則器，λ是控制重建圖像x屬性的超參數(shù)，同時避免過擬合。
公式3和正則化項可以用各種方法進行優(yōu)化：
?
?
?
1.2用于MR重建的深度學習先驗
?
Z是捕捉數(shù)據(jù)樣本的統(tǒng)計正則性的潛在變量，c是條件隨機變量，其取決于多個因素，例如k空間的欠采樣、圖像的分辨率或所使用的DL網(wǎng)絡(luò)的類型。
根據(jù)學習的性質(zhì)，有兩種類型的學習方法，稱為生成性模型和非生成性模型。
生成模型：生成性對抗性網(wǎng)絡(luò)(GAN)，變分自動編碼器(VAE)
生成模型可以有效地消除k空間中經(jīng)過4×或8×欠采樣的MR圖像的混疊
?
非生成模型：GNGE可以是卷積神經(jīng)網(wǎng)絡(luò)(CNN) 、長期短期記憶(LSTM) 或任何其他類似的深度學習模型。
?
1.3磁共振成像的經(jīng)典方法
基于物理的圖像重建方法
稀疏性促進壓縮傳感方法
基于低階的方法
可以粗略地分為兩類，即
基于k空間的方法：SMASH，VDAUTO SMASH,GRAPPA
k-t GRAPPA 利用k-t空間中的相關(guān)性并對缺失數(shù)據(jù)進行內(nèi)插。
基于稀疏性的低秩基方法基于這樣的假設(shè)：當圖像重建遵循一組約束(如稀疏性、光滑性、并行成像等)時，所得到的k-空間應(yīng)該遵循具有低秩性的結(jié)構(gòu)。
基于圖像空間的重建方法
基于模型的圖像重建算法結(jié)合成像系統(tǒng)的基本物理原理并利用圖像先驗信息，如鄰域信息
1.4本次文獻綜述的主要亮點
經(jīng)典，生成模型，非生成模型。研究方向
并行成像的經(jīng)典方法
這一部分回顧了一些經(jīng)典的基于k空間的MR圖像重建方法和經(jīng)典的基于圖像空間的MR圖像重建方法
2.1使用k空間內(nèi)插的逆映射
3.1各種深度學習框架
感知機：要么全有，要么全無
多層感知器：感知器的不可分離性問題可以通過多層感知器來克服，但由于沒有適當?shù)挠?xùn)練規(guī)則，研究陷入停滯。MLP由輸入層、輸出層和幾個緊密連接在稱為隱藏層的層之間組成：
卷積神經(jīng)網(wǎng)絡(luò)（CNN）：MLP的密集連接(也稱為全局連接)模型過于靈活，容易過度匹配，有時會產(chǎn)生很大的計算開銷。
?
CNN的層可以是完全連接的致密層、縮小輸入大小的最大池化層，也可以是用于執(zhí)行等式中未顯示的正則化的丟失層。
遞歸神經(jīng)網(wǎng)絡(luò)(RNN)：CNN可以利用其固有的深層結(jié)構(gòu)和通過卷積核的局部連通性來學習數(shù)據(jù)集的隱藏特征。但他們不能學習信號中的時間依賴性。
?
t是時間，并且RNN以順序方式獲取輸入x。然而，RNN存在“梯度消失”的問題。當使用基于梯度的優(yōu)化方法訓(xùn)練的RNN的輸出層的梯度改變參數(shù)值時，觀察到消失的梯度，從而不影響參數(shù)學習的變化。
長期短期記憶(LSTM)網(wǎng)絡(luò)使用記憶門、Sigmoid和/或tanh激活功能以及后來的RELU激活功能，以控制梯度信號并克服消失梯度問題。
Transformer Networks:
LSTM模型存在一些問題，例如：(I)LSTM網(wǎng)絡(luò)執(zhí)行輸入的順序處理；(Ii)隱藏狀態(tài)的注意力跨度較短，可能無法學習輸入的良好上下文表示。
Transformer Networks具有自我注意機制位置嵌入和非順序輸入處理設(shè)置，經(jīng)驗表明，這種配置的性能遠遠超過LSTM網(wǎng)絡(luò)
3.2 激活功能
激活函數(shù)ψ(·)作用于神經(jīng)網(wǎng)絡(luò)的節(jié)點或?qū)?#xff0c;它提供布爾輸出、概率輸出或范圍內(nèi)的輸出。
階躍激活函數(shù)，雙曲正切函數(shù)，sigmoid激活函數(shù)（RELU）
3.3 Network Structures
VGG網(wǎng)絡(luò)：2015年底，Zisserman等人。他們發(fā)表了一篇開創(chuàng)性的論文，標題為《very deep convolutional networks for large-scale image recognition》(VGG)( 2014)，提出了一個稱為VGG網(wǎng)絡(luò)的16層網(wǎng)絡(luò)。VGG網(wǎng)絡(luò)的每一層都有越來越多的信道。該網(wǎng)絡(luò)在計算機視覺任務(wù)中達到了最先進的水平，如分類、識別等。
ResNet模型（2016)：最近開發(fā)的一種稱為剩余網(wǎng)絡(luò)或ResNet的模型，修改了等式27中所示的層交互轉(zhuǎn)化為以下形式：Ci=ψi?1(Ki?1?Ci?1)+Ci?2其中，i∈{2，···，n?1}，并提供到隱藏層的“快捷連接”。使用快捷連接的身份映射對網(wǎng)絡(luò)的性能和穩(wěn)定性有很大的積極影響。
UNET（2015)：為了完成生物醫(yī)學圖像中的圖像分割任務(wù)，提出了一種UNET體系結(jié)構(gòu)。整個端到端架構(gòu)圖形化地類似于英文字母“U”，并有一個編碼器模塊和一個解碼器模塊。每個編碼層由未填充的卷積、糾錯的線性單元，以及匯聚層組成。它們共同將圖像下采樣到一些潛在空間。
解碼器具有與編碼器相同的層數(shù)。每個解碼層對來自其前一層的數(shù)據(jù)進行上采樣，直到達到輸入維度。該體系結(jié)構(gòu)已在多個數(shù)據(jù)集上顯示出良好的定量結(jié)果
自動編碼器：自動編碼器(AE)是一種機器學習模型，通過將目標值映射為等于輸入值(即身份映射)，以無監(jiān)督的方式捕獲輸入數(shù)據(jù)樣本的模式或規(guī)則。例如，給定從訓(xùn)練數(shù)據(jù)分布PDATA(X)隨機采樣的數(shù)據(jù)點x，標準AE使用由～d參數(shù)化的編碼器網(wǎng)絡(luò)zθD(z|x，θd)來學習低維表示z。也稱為潛在表示的低維表示z隨后使用由θg參數(shù)化的解碼器網(wǎng)絡(luò)?x～ggen(x|z，θg)被投影回輸入維度。使用具有以下優(yōu)化目標的標準反向傳播算法進行訓(xùn)練
Variational Autoencoder（VAE）：變分自動編碼器(VAE)基本上是一個自動編碼器網(wǎng)絡(luò)，它由一個編碼網(wǎng)絡(luò)GGEN組成，G估計了譯碼網(wǎng)絡(luò)D(z，θd)的后驗分布p(z|x)和推論p(x|z)
然而，VAE不能直接優(yōu)化VI。
VAE估計了類似于KL散度的證據(jù)下界(ELBO)
?
Generative Adversarial Networks（GAN）:生成性對抗性網(wǎng)絡(luò)（GAN）是兩個稱為生成器的神經(jīng)網(wǎng)絡(luò)之間的相互作用
隨著訓(xùn)練的進行，生成器ggen(z|θg)逐漸學習生成逼真外觀圖像的策略，而鑒別器D(x，θd)學習區(qū)分生成的樣本和真實樣本
| VGG | 2015年底，Zisserman等人提出了一個稱為VGG網(wǎng)絡(luò)的16層網(wǎng)絡(luò)。VGG網(wǎng)絡(luò)的每一層都有越來越多的信道。該網(wǎng)絡(luò)在計算機視覺任務(wù)中達到了最先進的水平，如分類、識別等。 |
| ResNet | 一種稱為剩余網(wǎng)絡(luò)或ResNet的模型，修改了的層交互轉(zhuǎn)化，并提供到隱藏層的“快捷連接”，使用快捷連接的身份映射對網(wǎng)絡(luò)的性能和穩(wěn)定性有很大的積極影響。 |
| UNET | 有一個編碼器模塊和一個解碼器模塊，解碼器具有與編碼器相同的層數(shù)。每個解碼層對來自其前一層的數(shù)據(jù)進行上采樣，直到達到輸入維度。 |
| 自動編碼器（AE） | 一種機器學習模型，通過將目標值映射為等于輸入值(即身份映射)，以無監(jiān)督的方式捕獲輸入數(shù)據(jù)樣本的模式或規(guī)則。 |
| 變分自動編碼器（VAE） | 是一個自動編碼器網(wǎng)絡(luò)，它由一個編碼網(wǎng)絡(luò)GGEN組成，G估計了譯碼網(wǎng)絡(luò)D(z，θd)的后驗分布p(z|x)和推論p(x|z)，VAE不能直接優(yōu)化VI。 VAE估計了類似于KL散度的證據(jù)下界(ELBO) |
| GAN | 兩個稱為生成器的神經(jīng)網(wǎng)絡(luò)之間的相互作用 隨著訓(xùn)練的進行，生成器逐漸學習生成逼真外觀圖像的策略，而鑒別器學習區(qū)分生成的樣本和真實樣本 |
3.4損失函數(shù)
VGG loss：更深層次的特征地圖VGG-16網(wǎng)絡(luò)，即具有16層的VGG網(wǎng)絡(luò)，可以用于比較圖像的知覺相似性。。。。
相關(guān)性CLi，j被認為是VGG損失函數(shù)
4.基于深度生成模型的逆映射
在這一部分中，我們將討論如何將這些網(wǎng)絡(luò)（生成性網(wǎng)絡(luò)：GAN,貝葉斯）用于MR重建。
4.1生成性對抗網(wǎng)絡(luò)(GANS)
K-空間的逆映射：目前基于GAN的k空間方法大致可以分為兩類：
在接下來的段落中，我們首先討論了最近基于GAN的直接k空間到MR圖像的生成方法，然后是欠采樣k空間到全k空間的生成方法。
k空間—圖像空間：通過非線性內(nèi)插估計k空間直線即
該GAN框架用于(Oksuz等人，2018)使用類 AUTOMAP 網(wǎng)絡(luò)校正心臟成像中的運動偽影
類 AUTOMAP ?生成器架構(gòu)不僅提高了重建質(zhì)量，而且有助于其他下游任務(wù)，如MR圖像分割。雖然基于自動映射為生成器的方法解決了更廣泛的運動偽影問題，但它們在很大程度上沒有解決沿相位編碼方向的帶狀偽影
?
為了解決這個問題，一種名為通過對抗性訓(xùn)練去除MRI條帶的方法(DeFazio等人，2020年)利用了感知損失以及鑒別器損失
盡管它們在基于k空間的可行采樣模式的MR重建中取得了成功，但到目前為止我們所討論的模型存在以下限制：
圖像空間校正方法：
通過更新方程4來學習減少噪聲和/或混疊偽影。
?
| K-空間的逆映射 | 類 AUTOMAP 網(wǎng)絡(luò)校正心臟成像中的運動偽影（Oksuz等人，2018） | 沒有解決沿相位編碼方向的帶狀偽影 |
| 通過對抗性訓(xùn)練去除MRI條帶的方法(DeFazio等人，2020年)利用了感知損失以及鑒別器損失 | 解決了沿相位編碼方向的帶狀偽影 | |
| 對抗性神經(jīng)網(wǎng)絡(luò)（AMRI）方法的加速磁共振成像(Shitrit and Raviv，2017) | 使用條件GAN，來生成缺失的k空間線。組合的k空間線被傅里葉變換并傳遞給鑒別器 | |
| 生成性對抗神經(jīng)網(wǎng)絡(luò)方法(SUBGAN)的亞采樣腦MRI重建(Shaul等人，2020) | 討論了時間背景的重要性以及如何減輕與目標運動相關(guān)的噪聲。 |
| 圖像空間校正方法 | 基于自我注意和相對平均判別器的GAN(SARAGAN) (袁等人，2020) | SARAGAN方法采用了相對論鑒別器以及自我注意網(wǎng)絡(luò) |
| 壓縮傳感GAN（GANCS）（Mardani等，2018）RefineGAN（Quan等人，2018） 結(jié)構(gòu)保護GAN（Doora等人，2020；Lee等人，2018） | 基于稀疏性的約束被作為正則器施加到公式中。 | |
| PIC-GAN（Lv等人，2021） MGAN（Zhang等人，2018a） | 使用類似SENSE的重建策略，利用GAN框架結(jié)合從平行接收線圈重建的MR圖像。 | |
| K空間和圖像空間相結(jié)合的方法 | "用于MR圖像重建的非相干結(jié)構(gòu)的采樣增強神經(jīng)網(wǎng)絡(luò)"（SANTIS）的方法（Liu等人，2019年） | 除了利用GAN損失，還利用循環(huán)一致性損失 |
| 協(xié)作GAN方法（CollaGAN）（Lee等人，2019年） | 沒有從單一圖像的K空間和圖像域之間進行周期一致性，而是考慮了T1加權(quán)和T2加權(quán)數(shù)據(jù)等域的集合，并試圖在所有域中以周期一致性重建MR圖像。 | |
| InverseGAN（Narnhofer等人，2019年） | 使用一個單一的網(wǎng)絡(luò)來執(zhí)行周期一致性，該網(wǎng)絡(luò)同時學習來自K空間和到K空間的正向和反向映射。 |
貝葉斯：
貝葉斯定理將后驗p(x|y)表示為k-空間數(shù)據(jù)似然p(y|x)和先驗p(X)的函數(shù)
在(Tezcan等人，2018)中，使用計算密集型的蒙特卡羅抽樣技術(shù)估計先驗
為了克服計算代價，幾位作者提出了使用VAE學習從欠采樣k空間到圖像空間的非線性映射。
PixelCNN+(Oord等人，2016)將每個像素視為隨機變量，并將圖像x上像素的聯(lián)合分布估計為條件分布的乘積
(Luo等人，2020)中提出的方法考慮了PixelCNN+的生成回歸模型來估計先驗p(X)。這種方法表現(xiàn)出了非常好的性能。
(Lonning等人，2018)：用于加速MRI重建的遞歸推理機(RIM)是一種通用的逆問題求解器，它執(zhí)行最大后驗估計的逐步重新評估，并推斷正向模型的逆變換。效果良好但計算成本高
4.3主動獲取方法
K空間和圖像相結(jié)合的方法：
上述方法都考慮由用戶預(yù)先確定的固定k空間采樣。這一抽樣過程與重建管道隔離開來。最近的工作調(diào)查了采樣過程本身是否可以作為重建優(yōu)化框架的一部分。這些作品的基本概況可以描述如下：
該算法可以訪問全采樣的訓(xùn)練MR圖像{x1，x2，···，xN}
編碼器Gθg(·)通過優(yōu)化參數(shù)θg學習采樣模式。
解碼器Dθd(·)是由θd參數(shù)化的重建算法
通過最小化訓(xùn)練MR圖像上的經(jīng)驗風險來優(yōu)化編碼器Gθg(·)
Huijben等人(2019)中的深度概率次采樣(DPS)方法使用基于Softmax的方法和MR重建開發(fā)了一種任務(wù)自適應(yīng)的概率欠采樣方案。另一方面，聯(lián)合模型的工作
基于深度學習(J-MODL)(Aggarwal和Jacob，2020)使用公式21和22優(yōu)化了采樣和重構(gòu)，以聯(lián)合優(yōu)化數(shù)據(jù)一致性網(wǎng)絡(luò)和正則化網(wǎng)絡(luò)。數(shù)據(jù)一致性網(wǎng)絡(luò)是作為去噪器的殘差網(wǎng)絡(luò)，而正則化網(wǎng)絡(luò)決定采樣方案。Pilot(Weiss等人，2021年)方法還聯(lián)合優(yōu)化了k空間采樣和重建。
該網(wǎng)絡(luò)有一個子采樣層來確定一條k空間直線的重要性，而重建層和任務(wù)層共同重建圖像。通過貪婪的旅行商問題或施加采集機約束來選擇最優(yōu)的k-空間線路。K空間采樣和重構(gòu)的聯(lián)合優(yōu)化也出現(xiàn)在最近的方法中(恒宇，2021；羅冠雄，2021)。
5.使用非生成模型的逆映射
在本節(jié)中，我們討論使用以下優(yōu)化框架的非生成性模型：非生成性模型不假定數(shù)據(jù)的任何基本分布，并通過使用方程進行參數(shù)優(yōu)化來學習逆映射。
5.1基于感知器的模型
Kwon等人，2017年；Cohen等人，2018年)的工作開發(fā)了一種基于多層感知器(MLP)的學習技術(shù)，該技術(shù)學習k空間測量、混疊圖像和期望的未混疊圖像之間的非線性關(guān)系。MLP的輸入是混疊圖像和k空間測量的實部和虛部，輸出是對應(yīng)的未混疊圖像。我們給出了該方法(Kwon等人，2017)與圖8中的SPIRIT和GRAPPA方法的直觀比較。在不同的欠采樣因子下，該方法顯示出更好的性能和更低的RMSE。
| 基于感知器的模型 | 基于多層感知器(MLP)的學習技術(shù)（Kwon等人，2017年；Cohen等人，2018年) | 學習k空間測量、混疊圖像和期望的未混疊圖像之間的非線性關(guān)系。 |
| 未經(jīng)培訓(xùn)的網(wǎng)絡(luò) | 用于k空間內(nèi)插的穩(wěn)健人工神經(jīng)網(wǎng)絡(luò)(RAKI)(AK 等人，2019年) | 通過ACS線訓(xùn)練CNN，與GRAPPA有一些共同之處區(qū)別是GRAPPA中的卷積核的線性估計，而CNN中的卷積核被非線性核所取代。 |
| 殘差RAKI(RRAKI) (Zhang等人，2019a) | 在殘差網(wǎng)絡(luò)結(jié)構(gòu)的幫助下提高了RMSE分數(shù)。 | |
| LORAKI方法(Kim等人，2019年) | 使用經(jīng)常性的CNN網(wǎng)絡(luò)將自動校準的LORAKS和RAKI方法結(jié)合在一起 | |
| sRAKI-RNN(Hosseini等人，2019b) | 提出了一個統(tǒng)一的框架，該框架使用比LORAKI更簡化的RNN網(wǎng)絡(luò)通過校準和數(shù)據(jù)一致性來執(zhí)行正則化 |
5.2未經(jīng)培訓(xùn)的網(wǎng)絡(luò)
到目前為止，我們已經(jīng)討論了各種深度學習體系結(jié)構(gòu)及其使用給定訓(xùn)練數(shù)據(jù)集的訓(xùn)練策略。人們可以問的最令人興奮的問題是“是否總是有必要訓(xùn)練DL網(wǎng)絡(luò)以在測試時獲得最佳結(jié)果？”或者“我們是否可以使用類似于經(jīng)典方法的DL來解決逆問題，這些方法不一定需要訓(xùn)練階段來學習參數(shù)先驗”？
我們注意到使用ACS線或k空間測量y的其他k空間線來訓(xùn)練DL網(wǎng)絡(luò)而不是MR圖像作為基本事實的幾種最先進的方法。
用于k空間內(nèi)插的穩(wěn)健人工神經(jīng)網(wǎng)絡(luò)(RAKI)(AK ee cakaya等人，2019年)通過使用ACS線訓(xùn)練CNN。Raki方法與grappa有一些共同之處。然而，主要的區(qū)別是GRAPPA中的卷積核的線性估計，而CNN中的卷積核被非線性核所取代。CNN內(nèi)核使用以下內(nèi)容進行了優(yōu)化
?
RAKI
殘差RAKI
LORAKI
Sraki-RNN
深度圖像先驗(DIP)及其變體在計算機視覺任務(wù)中表現(xiàn)出了出色的結(jié)果，如去噪、內(nèi)繪、超分辨率、域轉(zhuǎn)換等。Vanilla DIP網(wǎng)絡(luò)使用隨機加權(quán)的自動編碼器Dθd(Gθg(Z))，它在給定固定噪聲向量z∈RW×H×D的情況下重建干凈的圖像x∈RW×H×D。網(wǎng)絡(luò)使用“地面真實”噪聲圖像?x進行優(yōu)化。作為優(yōu)化，需要手動收斂或用戶選擇“提前停止”優(yōu)化，直到與圖像中的噪聲過度適應(yīng)。最近的一項名為深度解碼器(Heckel and Hand，2018)的工作表明，一個參數(shù)不足的解碼器
最近人們了解到，這種進步可以直接應(yīng)用于磁共振圖像重建(Mohammad Zalbagi Darestani，2021)
5.3CNN
根據(jù)MR圖像的重建方式，我們將所有基于CNN的空間方法分為以下類別: 來自k-空間的逆映射：用于圖像糾正的逆映射：
| 來自k-空間的逆映射 | AUTOMAP(朱等人，2018) | 使用具有三個完全連接層(3個FC)和兩個卷積層(2個卷積)的網(wǎng)絡(luò)來學習重建映射 |
| 使用復(fù)值ResNet(CNN的一種)網(wǎng)絡(luò)(Wang等人) | 使用具有復(fù)值核的CNN網(wǎng)絡(luò)來從復(fù)值k-空間測量重建MR圖像 | |
| 圖像空間校正方法 | DeepADMM網(wǎng)模型(Sun等人，2016） 深級聯(lián)CNN(DCCNN)(Schlemper等人，2017) | 基于公式的正則化 |
| 一種基于模型的MRI重建（Aggarwal等人，2019) | 使用了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的正則化先驗。 | |
| GRappaNet(Sriram等人，2020) | 開發(fā)了一個完整的端到端CNN模型，是CNN網(wǎng)絡(luò)中GRAPPA集的非線性版本 |
來自k-空間的逆映射:
AUTOMAP (朱等人，2018)使用具有三個完全連接層(3個FC)和兩個卷積層(2個卷積)的網(wǎng)絡(luò)來學習重建映射，其輸入維度為128×128。任何大小超過128x128的圖像都會被裁剪并子采樣到128x128。
與這些方法不同的是，有一些工作(Wang等人，2020b；Cole等人，2019)使用具有復(fù)值核的CNN網(wǎng)絡(luò)來從復(fù)值k-空間測量重建MR圖像。(Wang等人，2020a)中的方法使用復(fù)值ResNet(這是CNN的一種)網(wǎng)絡(luò)，并被證明在12通道全采樣k空間數(shù)據(jù)集上獲得了良好的結(jié)果(有關(guān)與其他方法的可視比較，請參見圖9)。另一種方法使用基于拉普拉斯金字塔的復(fù)雜神經(jīng)網(wǎng)絡(luò)(梁等人，2020b)用于MR圖像重建。
用于圖像糾正的逆映射
在基于CNN的序列空間模型中，例如Deep ADMM網(wǎng)模型(Sun等人，2016；Schlemper等人，2017)和深級聯(lián)CNN(DCCNN)(Schlemper等人，2017)，使用以下方程組在圖像空間中完成正則化：
?
Aggarwal等人，2019年)提出了一種基于模型的MRI重建，其中他們使用了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的正則化先驗。后來，Biswas等人提出了一種使用基于MODL的深度學習的動態(tài)MRI(Biswas等人，2019年)。優(yōu)化，即優(yōu)化。
Arg minx 1 2||Ax?y||22+λ||C(X)||22，使用cnn網(wǎng)絡(luò)C(·)作為正則化先驗來去除混疊偽影和噪聲，而λ是一個可訓(xùn)練的參數(shù)。為了解決這一問題，開發(fā)了一個完整的端到端CNN模型，稱為GRappaNet(Sriram等人，2020b)，它是CNN網(wǎng)絡(luò)中GRAPPA集的非線性版本。CNN網(wǎng)絡(luò)具有兩個子網(wǎng)絡(luò)；第一個子網(wǎng)絡(luò)F1(Y)使用類似于GRAPPA的基于非線性CNN的內(nèi)插函數(shù)來填充缺失的k空間線。隨后，第二網(wǎng)絡(luò)f2將填充的k空間測量映射到圖像空間。GRappaNet模型在FastMRI數(shù)據(jù)集上表現(xiàn)出了良好的性能(40.74PSNR，0.957 SSIM)，是性能最好的方法之一。圖10顯示了定性的比較。沿著類似的路線，深度變分網(wǎng)絡(luò)(Hammernik等人，2018)被用于MRI重建。
5.4遞歸神經(jīng)網(wǎng)絡(luò)
來自k-空間的逆映射:
通過設(shè)計，時間方法被分為兩類，即(I)正則化方法和(Ii)變量分裂方法。
| 來自k-空間的逆映射 | 使用的迭代硬閾值(IHT)方法將時間方法作為正則化的一種方式 | |
| 一種局部-全局遞歸神經(jīng)網(wǎng)絡(luò)(Guo等人，2021年) | 它使用兩個遞歸網(wǎng)絡(luò)，一個網(wǎng)絡(luò)捕獲高頻分量，另一個網(wǎng)絡(luò)捕獲低頻分量。 | |
| 使用雙向RNN并替換的密集網(wǎng)絡(luò)結(jié)構(gòu)(oh等人，2021年) | 同時去除重建圖像中的混疊偽影 | |
| 卷積遞歸神經(jīng)網(wǎng)絡(luò)或CRNN(Qin等人，2018)方法 | 提出了一種使用基于RNN的模型的變量拆分和交替最小化方法。 |
總結(jié)
以上是生活随笔為你收集整理的深度学习MRI重建综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 最新论文笔记(+13)：Hardenin
- 下一篇： 深度学习对抗生成网络--GAN