大家好，又見面了，我是你們的朋友風君子。

目錄

0、引言

1、病變檢測

2、圖像分割

基于深度學習的醫學圖像分割與檢測

3、圖像配準

圖像配準的定義

4、圖像融合

5、預測與挑戰

6、結論

參考文獻

---

0、引言

醫學圖像處理的對象是各種不同成像機理的醫學影像，臨床廣泛使用的醫學成像種類主要有X-射線成像 （X-CT）、核磁共振成像（MRI）、核醫學成像（NMI）、超聲波成像（UI）四類。在目前的影像醫療診斷中，主要是通過觀察一組二維切片圖象去發現病變體，這往往需要借助醫生的經驗來判定。利用計算機圖像處理技術對二維切片圖象進行分析和處理，實現對人體器官、軟組織和病變體的分割提取、三維重建和三維顯示，可以輔助醫生對病變體及其它感興趣的區域進行定性甚至定量的分析，從而大大提高醫療診斷的準確性和可靠性；在醫療教學、手術規劃、手術仿真及各種醫學研究中也能起重要的輔助作用[1,2]。目前，醫學圖像處理主要集中表現在病變檢測、圖像分割、圖像配準及圖像融合四個方面。

用深度學習方法進行數據分析呈現快速增長趨勢，稱為2013年的10項突破性技術之一。深度學習是人工神經網絡的改進，由更多層組成，允許更高層次包含更多抽象信息來進行數據預測。迄今為止，它已成為計算機視覺領域中領先的機器學習工具，深度神經網絡學習自動從原始數據（圖像）獲得的中級和高級抽象特征。最近的結果表明，從CNN中提取的信息在自然圖像中的對目標識別和定位方面非常有效。世界各地的醫學圖像處理機構已經迅速進入該領域，并將CNN和其它深度學習方法應用于各種醫學圖像分析。

在醫學成像中，疾病的準確診斷和評估取決于醫學圖像的采集和圖像解釋。近年來，圖像采集已經得到了顯著改善，設備以更快的速率和更高的分辨率采集數據。然而，圖像解釋過程，最近才開始受益于計算機技術。對醫學圖像的解釋大多數都是由醫生進行的，然而醫學圖像解釋受到醫生主觀性、醫生巨大差異認知和疲勞的限制。

用于圖像處理的典型CNN架構由一系列卷積網絡組成，其中包含有一系列數據縮減即池化層。與人腦中的低級視覺處理一樣，卷積網絡檢測提取圖像特征，例如可能表示直邊的線或圓（例如器官檢測）或圓圈（結腸息肉檢測），然后是更高階的特征，例如局部和全局形狀和紋理特征提取[3]。CNN的輸出通常是一個或多個概率或種類標簽。

CNN是高度可并行化的算法。與單核的CPU處理相比，今天使用的圖形處理單元（GPU）計算機芯片實現了大幅加速（大約40倍）。在醫學圖像處理中，GPU首先被引入用于分割和重建，然后用于機器學習。由于CNN的新變種的發展以及針對現代GPU優化的高效并行網絡框架的出現，深度神經網絡吸引了商業興趣。從頭開始訓練深度CNN是一項挑戰[4]。首先，CNN需要大量標記的訓練數據，這一要求在專家注釋昂貴且疾病稀缺的醫學領域中可能難以滿足。其次，訓練深度CNN需要大量的計算和內存資源，否則訓練過程將是非常耗時。第三，深度CNN訓練過程中由于過度擬合和收斂問題而復雜化，這通常需要對網絡的框架結構或學習參數進行重復調整，以確保所有層都以相當的速度學習[5]。鑒于這些困難，一些新的學習方案，稱為“遷移學習”和“微調”，被證明可以解決上述問題從而越來越受歡迎。

1、病變檢測

計算機輔助檢測（CAD）是醫學圖像分析的有待完善的領域，并且非常適合引入深度學習。在CAD 的標準方法中，一般通過監督方法或經典圖像處理技術（如過濾和數學形態學）檢測候選病變位置。病變位置檢測是分階段的，并且通常由大量手工制作的特征描述。將分類器用于特征向量映射到候選者來檢測實際病變的概率。采用深度學習的直接方式是訓練CNN操作一組以圖像為中心的圖像數據候選病變。Setio 等在 3D 胸部 CT 掃描中檢測肺結節，并在九個不同方向上提取以這些候選者為中心的2D貼片[6]，使用不同CNN的組合來對每個候選者進行分類，CAD系統結構如圖1所示。根據檢測結果顯示，與先前公布的用于相同任務的經典CAD系統相比略有改進。羅斯等人應用CNN改進三種現有的CAD系統，用于檢測CT成像中的結腸息肉，硬化性脊柱變形和淋巴結腫大[7]。他們還在三個正交方向上使用先前開發的候選檢測器和2D貼片，以及多達100個隨機旋轉的視圖。隨機旋轉的“2.5D”視圖是從原始3D數據分解圖像的方法。采用CNN對這些2.5D視圖圖像檢測然后匯總，來提高檢測的準確率。對于使用CNN的三個CAD系統，病變檢測的準確率度提高了13-34％，而使用非深度學習分類器（例如支持向量機）幾乎不可能實現這種程度的提升。早在1996年，Sahiner等人就已將CNN應用于醫學圖像處理。從乳房X線照片中提取腫塊或正常組織的ROI。 CNN由輸入層，兩個隱藏層和輸出層組成，并用于反向傳播。在“GPU時代”以前，訓練時間被描述為“計算密集型”，但沒有給出任何時間。1993年，CNN應用于肺結節檢測；1995年CNN用于檢測乳腺攝影中的微鈣化。

圖1.CAD系統概述。（a）從立方體的九個對稱平面中提取的二維斑塊的示例。候選者位于貼片的中心，邊界框為50 50 mm和64 64 px。（b）通過合并專門為固體，亞固體和大結節設計的探測器的輸出來檢測候選人。誤報減少階段是作為多個ConvNets的組合實現的。每個ConvNets流處理從特定視圖中提取的2-D補丁。（c）融合每個ConvNet流輸出的不同方法。 灰色和橙色框表示來自第一個完全連接的層和結節分類輸出的連接神經元。 使用完全連接的層與softmax或固定組合器（產品規則）組合神經元。（a）使用體積對象的九個視圖提取二維補丁。（b）擬議系統的示意圖。（c）融合方法。

圖2.結腸息肉的檢測：不同息肉大小的FROC曲線，使用792測試CT結腸成像患者的隨機視圖ConvNet觀察。

2、圖像分割

醫學圖像分割就是一個根據區域間的 相似 或 不同 把圖像分割成若干區域的過程。目前，主要以各種細胞、組織與器官的圖像作為處理的對象。

傳統的圖像分割技術有：

基于區域的分割方法 ，依賴于圖像的空間局部特征，如灰度、紋理及其它象素統計特性的均勻性等

基于邊界的分割方法，主要是利用梯度信息確定目標的邊界。

結合特定的理論工具，圖象分割技術有了更進一步的發展。比如基于三維可視化系統結合FastMarching算法和Watershed 變換的醫學圖象分割方法，能得到快速、準確的分割結果[8]。

近年來，隨著其它新興學科的發展，產生了一些全新的圖像分割技術。

• 如基于統計學的方法、
• 基于模糊理論的方法、
• 基于神經網絡的方法、
• 基于小波分析的方法、
• 基于模型的snake 模型(動態輪廓模型)、
• 組合優化模型等方法。

雖然不斷有新的分割方法被提出，但結果都不是很理想。目前研究的熱點是一種基于知識的分割方法，即通過某種手段將一些先驗的知識導入分割過程中，從而約束計算機的分割過程，使得分割結果控制在我們所能認識的范圍內而不至于太離譜。比如在肝內部腫塊與正常肝灰度值差別很大時，不至于將腫塊與正常肝看成 2 個獨立的組織。

醫學圖像分割方法的研究具有如下顯著特點：

1. 現有任何一種單獨的圖像分割算法都難以對一般圖像取得比較滿意的結果，要更加注重多種分割算法的有效結合；
2. 由于人體解剖結構的復雜性和功能的系統性，雖然已有研究通過醫學圖像的自動分割區分出所需的器官、組織或找到 病變區的方法，但目前現成的軟件包一般無法完成全自動的分割，尚需要解剖學方面的人工干預[9]。在目前無法完全 由計算機來完成圖像分割任務的情況下，人機交互式分割方法逐漸成為研究重點；
3. 新的分割方法的研究主要以自動、精確、快速、自適應、魯棒性等幾個方向作為研究目標，
4. 經典分割技術與現代分割技術的綜合利用(集成技術)是今后醫學圖像分割技術的發展方向[10,11]。

基于深度學習的醫學圖像分割與檢測

利用2891次心臟超聲檢查的數據集，Ghesu等結合深度學習和邊緣空間學習進行醫學圖像檢測和分割[12]?！按髤悼臻g的有效探索”和在深度網絡中實施稀疏性的方法相結合，提高了計算效率，并且與同一組發布的參考方法相比，平均分割誤差減少了13.5％，八位患者的檢測結果如圖4所示。Brosch等人利用 MRI(核磁共振成像) 圖像上研究多發性硬化腦病變分割的問題。開發了一種3D深度卷積編碼器網絡，它結合了卷積和反卷積[13]，圖5.增加網絡深度對病變的分割性能的影響。卷積網絡學習了更高級別的特征，并且反卷積網絡預進行像素級別分割。將網絡應用于兩個公開的數據集和一個臨床試驗數據集，與5種公開方法進行了比較，展現了最好的方法。Pereira等人的研究中對MRI上的腦腫瘤分割進行了研究，使用更深層的架構，數據歸一化和數據增強技巧[14]。將不同的CNN架構用于腫瘤，該方法分別對疑似腫瘤的圖像增強和核心區域進行分割。在2013年的公共挑戰數據集上獲得了最高成績。

圖4.示例圖像顯示了不同患者的檢測結果從測試集。檢測到的邊界框以綠色顯示，標準的框以黃色顯示。原點位于每個框中心的線段定義相應的坐標系

圖5. 增加網絡深度對病變的分割性能的影響。真陽性，假陰性和假陽性體素分別以綠色，黃色和紅色突出顯示。由于感受野的大小增加，具有和不具有捷徑的7層CEN能夠比3層CEN更好地分割大的病變。

2018年德國醫療康復機構提出一種具有代表性的基于全卷積的前列腺圖像分割方法。用CNN在前列腺的MRI圖像上進行端到端訓練，并可以一次完成整個分割。提出了一種新的目標函數，在訓練期間根據 Dice 系數進行優化[15]。通過這種方式，可以處理前景和背景之間存在不平衡的情況，并且增加了隨機應用的數據非線性變換和直方圖匹配。實驗評估中表明，該方法在公開數據集上取得了優秀的結果，并大大降低了處理時間。

3、圖像配準

圖象配準是圖象融合的前提，是公認難度較大的圖象處理技術，也是決定醫學圖象融合技術發展的關鍵技術。

在臨床診斷中，單一模態的圖像往往不能提供醫生所需要的足夠信息，常需將多種模式或同一模式的多次成像通過配準融合來實現感興趣區的信息互補。在一幅圖像上同時表達來自多種成像源的信息，醫生就能做出更加準確的診斷或制定出更加合適的治療方法[16]。

醫學圖像配準包括圖像的定位和轉換，即通過尋找一種空間變換使兩幅圖像對應點達到空間位置和解剖結構上的完全一致。圖8簡單說明了二維圖像配準的概念。圖(a)和圖(b)是對應于同一人腦同一位置的兩幅 MRI 圖像，其中圖(a)是質子密度加權成像，圖(b)是縱向弛豫加權成像。這兩幅圖像有明顯的不同，

• 第一是方位上的差異，即圖(a)相對于圖(b)沿水平和垂直方向分別進行了平移；

• 第二是兩幅圖像所表達的內容是不一致的，圖(a)表達不同組織質子含量的差別，而圖(b)則突出不同組織縱向弛豫的差別。

圖(c)給出了兩幅圖像之間像素點的對應映射關系，即(a)中的每一個點fx都被映射到(b)中唯一的一個點rx。

圖像配準的定義

如果這種映射是一 一對應的，即一幅圖像空間中的每一個點在另外一幅圖像空間中都有對應點，或者至少在醫療診斷上感興趣的那些點能夠準確或近似準確的對應起來，我們就稱之為配準[17,18]。

圖(d)給出了圖(a)相對于圖(b)的配準圖像。從圖(d)中可以看出，圖(d)與(b)之間的的像素點的空間位置已經近似一致了。1993 年 Petra 等綜述了二維圖像的配準方法，并根據配準基準的特性,將圖像配準的方法分為基于外部特征的圖象配準(有框架) 和基于圖象內部特征的圖象配準(無框架) 兩種方法。 后者由于其無創性和可回溯性, 已成為配準算法的研究中心。

? （a） （b） （c） （d）

圖8 醫學圖像配準原理

2019年華中科技大學對基于 PCANet 的結構非剛性多模醫學圖像配準展開研究。提出了一種基于PCANet的結構表示方法用于多模態醫學圖像配準[19]。與人工設計的特征提取方法相比，PCANet可以通過多級線性和非線性變換自動從大量醫學圖像中學習內在特征。所提出的方法可以通過利用 PCANet 的各個層中提取的多級圖像特征來為多模態圖像提供有效的結構表示。對Atlas，BrainWeb和RIRE數據集的大量實驗表明，與MIND，ESSD，WLD和NMI方法相比，所提出的方法可以提供更低的TRE值和更令人滿意的結果。

圖9 第一行分別是x和y方向變形的真實結果，第二行是PSR與x和y方向的真實情況的差異；第三行是MIND方法的變形和真實值之間的差異

圖10 PSR，MIND，ESSD，WLD和NMI方法的CT-MR圖像配準。（a）參考PD圖像；（b）浮動CT圖像；（c）PSR方法；（d）MIND方法；（e）ESSD方法；（f）WLD方法；（g）NMI方法

近年來，醫學圖像配準技術有了新的進展,在配準方法上應用了信息學的理論和方法，例如應用最大化的互信息量作為配準準則進行圖像的配準，基于互信息的彈性形變模型也逐漸成為研究熱點[20]。在配準對象方面從二維圖像發展到三維多模醫學圖像的配準。一些新算法，如基于小波變換的算法、統計學參數繪圖算法、遺傳算法等，在醫學圖像上的應用也在不斷擴展。向快速和準確方面改進算法，使用最優化策略改進圖像配準以及對非剛性圖像配準的研究是今后醫學圖像配準技術的發展方向[21,22]。

4、圖像融合

圖像融合的主要目的是通過對多幅圖像間的冗余數據的處理來提高圖像的可讀性，對多幅圖像間的互補信息的處理來提高圖像的清晰度。多模態醫學圖像的融合把有價值的生理功能信息與精確的解剖結構結合在一起，可以為臨床提供更加全面和準確的資料[23]。融合圖像的創建分為圖像數據的融合與融合圖像的顯示兩部分來完成。

目前，圖像數據融合主要有：

• 以像素為基礎的方法，對圖像進行逐點處理，把兩幅圖像對應像素點的灰度值進行加權求和、灰度取大或者灰度取小等操作，算法實現比較簡單，不過實現效果和效率都相對較差，融合后圖像會出現一定程度的模糊。
• 以圖像特征為基礎的方法，要對圖像進行特征提取、目標分割等處理，用到的算法原理復雜，但是實現效果卻比較理想。

融合圖像的顯示常用的有偽彩色顯示法、斷層顯示法和三維顯示法等。偽彩色顯示一般以某個圖像為基準,用灰度色階顯示，另一幅圖像疊加在基準圖像上，用彩色色階顯示。斷層顯示法常用于某些特定圖像，可以將融合后的三維數據以橫斷面、冠狀面和矢狀面斷層圖像同步地顯示，便于觀察者進行診斷。三維顯示法是將融合后數據以三維圖像的形式顯示，使觀察者可更直觀地觀察病灶的空間解剖位置，這在外科手術設計和放療計劃制定中有重要意義。

在圖像融合技術研究中，不斷有新的方法出現，其中小波變換、 基于有限元分析的非線性配準以及人工智能技術在圖像融合中的應用將是今后圖像融合研究的熱點與方向。隨著三維重建顯示技術的發展，三維圖像融合技術的研究也越來越受到重視，三維圖像的融合和信息表達，也將是圖像融合研究的一個重點。

在計算機輔助圖像處理的基礎上，開發出綜合利用圖像處理方法， 結合人體常數和部分疾病的影像特征來幫助或模擬醫生分析、診斷的圖像分析系統成為一種必然趨勢。目前已有一些采用人機交互定點、自動測量分析的圖像分析軟件，能定點或定項地完成一些測量和輔助診斷的工作，但遠遠沒有達到智能分析和專家系統的水平；全自動識別標志點并測量分析以及醫學圖像信息與文本信息的融合， 是計算機輔助診斷技術今后的發展方向。

圖12 多模態醫學圖像融合的例子。使用特定圖像融合技術的模態1與模態2的組合可以使醫學診斷和評估改進

5、預測與挑戰

1）數據維度問題-2D與3D：在迄今為止的大多數工作中，是在2D圖像中進行處理分析。人們常常質疑向3D過渡是否是邁向性能提高的重要一步。數據增強過程中存在若干變體，包括2.5D。例如，在Roth等人的研究中，以結腸息肉或淋巴結候選體中的體素為中心截取軸向圖像，存在冠狀和矢狀圖像。

2）學習方法 – 無監督與監督：當我們查看網絡文獻時，很明顯大多數工作都集中在受監督的CNN上，以實現分類。這種網絡對于許多應用是重要的，包括檢測，分割和標記。盡管如此，一些工作仍集中于無監督方案，這些方案主要表現為圖像編碼。諸如玻爾茲曼機器（RBM）之類的無監督表示學習方法可能勝過濾波器，因為它們直接從訓練數據中學習特征描述。RBM通過生成學習目標進行培訓；這使網絡成為可能從未標記的數據中學習，但不一定產生最適合分類的特征。Van Tulder等人進行了一項調查，結合卷積分類和RBM的生成和判別學習目標的優點，該機器學習了對描述訓練數據和分類都很好的過濾器。結果表明，學習目標的組合完全勝過生成性學習。

3）遷移學習和微調：在醫學成像領域中獲取與ImageNet一樣全面注釋的數據集仍然是一個挑戰。當沒有足夠的數據時，有幾種方法可以繼續：

• 遷移學習：從自然圖像數據集或不同醫學領域預訓練的CNN模型（監督）用于新的醫療任務。在一個方案中，預先訓練CNN應用于輸入圖像，然后從網絡層提取輸出。提取的輸出被認為是特征并且用于訓練單獨的模式分類器。
• 微調：當手頭的任務確實存在中等大小的數據集時，較好的方案是使用預先訓練的CNN作為網絡的初始化，然后進行進一步的監督訓練，其中幾個（或全部）網絡層，使用任務的新數據。

4）數據隱私受社會和技術問題的影響，需要從社會學和技術學的角度共同解決。在衛生部門討論隱私時，會想到HIPAA（1996年健康保險流通與責任法案）。它為患者提供有關保護個人身份信息的法律權利，并為醫療保健提供者承擔保護和限制其使用或披露的義務。在醫療保健數據不斷增加的同時，研究人員面臨如何加密患者信息以防止其被使用或披露的問題。同時帶來，限制訪問數據可能遺漏非常重要的信息。

6、結論

近幾年來，與傳統的機器學習算法相比，深度學習在日常生活自動化方面占據了中心位置，并取得了相當大的進步。基于優秀的性能，大多數研究人員認為在未來15年內，基于深度學習的應用程序將接管人類和大多數日常活動。但是，與其它現實世界的問題相比，醫療保健領域的深度學習尤其是醫學圖像的發展速度非常慢。到目前為止深度學習應用提供了積極的反饋，然而，由于醫療保健數據的敏感性和挑戰，我們應該尋找更復雜的深度學習方法，以便有效地處理復雜的醫療數據。隨著醫療技術和計算機科學的蓬勃發展，對醫學圖象處理提出的要求也越來越高。有效地提高醫學圖象處理技術的水平，與多學科理論的交叉融合，醫務人員和理論技術人員之間的交流就顯得越來越重要。醫學圖象處理技術作為提升現代醫療診斷水平的有力依據, 使實施風險低、創傷性小的手術方案成為可能，必將在醫學信息研究領域發揮更大的作用。

參考文獻

[1]林曉, 邱曉嘉. 圖像分析技術在醫學上的應用 [J] . 包頭醫學院學報, 2005, 21 (3) ： 311~ 314

[2]周賢善. 醫學圖像處理技術綜述[J]. 福建電腦, 2009(1):34-34.

[3]Mcinerney T , Terzopoulos D . Deformable models in medical image analysis: a survey[J]. Medical Image Analysis, 1996, 1(2):91.

[4]Litjens G , Kooi T , Bejnordi B E , et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis, 2017, 42:60-88.

[5]Deserno T M , Heinz H , Maier-Hein K H , et al. Viewpoints on Medical Image Processing: From Science to Application[J]. Current Medical Imaging Reviews, 2013, 9(2):79-88.

[6]A. Setio et al., “Pulmonary nodule detection in CT images using multiview convolutional networks,” IEEE Trans. Med. Imag., vol. 35, no. 5,pp. 1160–1169, May 2016.

[7]H. Roth et al., “Improving computer-aided detection using convolutional neural networks and random view aggregation,” IEEE Trans.Med. Imag., vol. 35, no. 5, pp. 1170–1181, May 2016

[8]林瑤, 田捷. 醫學圖像分割方法綜述[J]. 模式識別與人工智能, 2002, 15(2).

[9]Ghesu F C , Georgescu B , Mansi T , et al. An Artificial Agent for Anatomical Landmark Detection in Medical Images[C]// International Conference on Medical Image Computing & Computer-assisted Intervention. Springer, Cham, 2016.

[10]Pham D L , Xu C , Prince J L . Current methods in medical image segmentation.[J]. Annual Review of Biomedical Engineering, 2000, 2(2):315-337.

[11]Lehmann T M , Gonner C , Spitzer K . Survey: interpolation methods in medical image processing[J]. IEEE Transactions on Medical Imaging, 1999, 18(11):1049-1075.

[12]Cootes T F , Taylor C J . Statistical Models of Appearance for Medical Image Analysis and Computer Vision[J]. Proceedings of SPIE – The International Society for Optical Engineering, 2001, 4322(1).

[13] T. Brosch et al., “Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation,” IEEE Trans. Med. Imag., vol. 35, no. 5,pp. 1229–1239, May 2016.

[14]Ghesu F C , Krubasik E , Georgescu B , et al. Marginal Space Deep Learning: Efficient Architecture for Volumetric Image Parsing[J]. IEEE Transactions on Medical Imaging, 2016, 35(5):1217-1228.

[15]Milletari F , Navab N , Ahmadi S A . V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation[J]. 2016.

[16] .周永新, 羅述謙. 一種人機交互式快速腦圖象配準系統[J] . 北京生物醫學工程, 2002; 21 (1) ：11~14

[17]楊虎, 馬斌榮, 任海萍. 基于互信息的人腦圖象配準研究[J] . 中國醫學物理學雜志, 2001; 18 (2) ：69~73

[18]汪家旺，愈同福，姜曉彤，等.肺部孤立性結節定量研究[J].中國醫學影 像技術,2003,19(9)：1218~1219

[19]Ishihara S , Ishihara K , Nagamachi M , et al. An analysis of Kansei structure on shoes using self-organizing neural networks[J]. International Journal of Industrial Ergonomics, 1997, 19(2):93-104.

[20]Maintz J B , Viergever M A . A Survey of Medical Image Registration[J]. Computer & Digital Engineering, 2009, 33(1):140-144.

[21]Hill D L G , Batchelor P G , Holden M , et al. Medical image registration[J]. Physics in Medicine & Biology, 2008, 31(4):1-45.

[22]Razzak M I , Naz S , Zaib A . Deep Learning for Medical Image Processing: Overview, Challenges and Future[J]. 2017.

[23]林曉, 邱曉嘉. 圖像分析技術在醫學上的應用 [J] . 包頭醫學院學報, 2005, 21 (3) ： 311~ 314

總結

以上是生活随笔為你收集整理的医学图像处理最全综述「建议收藏」的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。