基于FCN，U-Net的深度学习医学影像分割算法（细胞分割算法）以及传统算法分析
? ? 本博文主要分析了基于傳統計算機視覺的細胞分割算法和基于深度學習的細胞分割算法。主要針對醫學影像分割算法。包括了FCN全卷積網絡的細胞分割效果，U-Net細胞分割效果。查閱了采用深度學習分割醫學影像的幾十篇論文，做出的總結。
? ? 醫學影像分割——細胞分割算法分析與總結
1. 基于傳統算法的細胞分割總結
? ? ? ? 1.1?幾種常用二值化方法
? ? ? ? 1.1.1 全局二值化，簡單，但是依賴于選擇的閾值，對光照不均衡的圖像，背景和前景相似的圖像處理效果差。
? ? ? ? 1.1.2 最優閾值方法（基于直方圖）。這種方法基于對圖像像素強度的概率分布，選擇兩個概率分布的交界處作為閾值，能夠得到最小的分割誤差。
? ? ? ? 1.1.3 OTSU大津閾值方法（基于聚類）。這種方法是基于統計判別分析，計算出一個閾值能夠最小化類內方差，最大化類內方差。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? 1.2 分水嶺算法
? ? ? ? 1.2.1 基于標記點約束的分水嶺算法。一般針對細胞影像分割，細胞圖像中都有標記物，將標記物當做一個水壩的初始位置，不斷的進行注水，直到兩個水壩的水位相交，修水壩，分割完成。
? ? ? ? 1.3 混合方法
? ? ? ? 為了提高分割性能，往往采用多種方法結合，緩解單獨一個方法造成的性能下降。
? ? ? ? 1.3.1 利用圖割的方法進行細胞分割。
? ? ? ? 采用混合圖割的方法，自動二值化圖像，接著采用被基于距離圖的自動選擇方法約束的LoG（Laplacian-of-Gaussian）進行種子點提取。
? ? ? ? 1.4 最小化模型用于細胞分割
? ? ? ? 基于模型的方法進行細胞檢測和分割，往往過度依賴于細胞形狀特征的先驗信息。由于采用了該細胞明確的性質，這會引入細胞分割的偏差。而采用輪廓的方法，會不依賴于細胞核形狀，染色特征，能夠處理醫學細胞影像中的大多數分割問題。最小模型分割方法如下：
? ? ? ? （1）檢測所有的封閉輪廓；（2）輪廓評估；（3）生成不重疊分割；（4）輪廓優化；（5）分離凹目標；（6）對剩余區域進行分類，基于染色的特性，分為目標細胞和其他物體。
2. 基于深度學習的細胞分割算法總結
? ? ? ? 2.1 FCN全卷積神經網絡
? ? ? ? FCN對圖像進行像素級的分類，從而解決了語義級別的圖像分割（semantic segmentation）問題。與經典的CNN在卷積層之后使用全連接層得到固定長度的特征向量進行分類（全聯接層＋softmax輸出）不同，FCN可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的feature map進行上采樣, 使它恢復到輸入圖像相同的尺寸，從而可以對每個像素都產生了一個預測, 同時保留了原始輸入圖像中的空間信息, 最后在上采樣的特征圖上進行逐像素分類。
? ? ? ? 2.2 U-Net
? ? ? ? 網絡架構如下：
? ? ? ? U-Net模型是一種改進的FCN結構，因其結構形似字母U而得名，應用于醫學圖像的語義分割。它由左半邊的壓縮通道（Contracting Path）和右半邊擴展通道（Expansive Path）組成。壓縮通道是典型的卷積神經網絡結構，它重復采用2個卷積層和1個最大池化層的結構，每進行一次池化操作后特征圖的維數就增加1倍。在擴展通道，先進行1次反卷積操作，使特征圖的維數減半，然后拼接對應壓縮通道裁剪得到的特征圖，重新組成一個2倍大小的特征圖，再采用2個卷積層進行特征提取，并重復這一結構。在最后的輸出層，用2個卷積層將64維的特征圖映射成2維的輸出圖。
3. 基于傳統算法的細胞分割實現
? ? ? ? 3.1 傳統分割算法的實現步驟
? ? ? ? 為了評估傳統分割算法的性能，在給定數據集上實現了細胞分割。以下為實現步驟。（由于是合作項目，算法不方便透露）。
? ? ? ? 3.2?結果分析
? ? ? ? 基于傳統計算機視覺的細胞分割在處理前景、背景有較大差異，目標之間間距較大的細胞時，能夠高效的處理，而面對前景、背景相似，且細胞連成一片的情況，則效果較差。如果需要提高精度，需要采用曲率，局部特征約束的方法。
4. 基于深度學習的細胞分割算法效果展示
? ? ? ? 以下的一些圖像是調研的基于深度學習的細胞分割效果圖，包括了各類醫學影像的分割結果。通過多方面的分析和對比，可以看出一些算法還是沒有將貼近的細胞分割開。
? ? ? ?上圖的第一列是原始圖像，第二列是Ground Truth，第三至第五列是各種基于深度學習模型的分割效果。從中可以看出，和真實值相比，對于距離較近的細胞，分割效果不好，容易分割成一片。
? ? ? ? 上圖是基于U-Net的以及其相關變體的分割效果圖，可以看出，分割效果較好。分析原因可以看出，原始圖像中，每個細胞分散得很開，沒有連在一起，且前景、背景差異較大。
? ? ? ? 通過觀察效果圖可以看出，應用深度學習的算法，對于連在一起一片細胞，也將其分割為一個細胞。
? ? ? ? 對于密集型的細胞分割，基于深度學習的分割算法精度還是較低。如上圖紅框標注出來的地方，就是一大片細胞連成一起。
? ? ? ? 上圖是將局部區域放大后，觀察分割的結果。左圖是Ground Truth，右圖是分割結果圖。
? ? ? ? ?上圖是采用FCN進行細胞分割的結果。第1列是原始圖像，第2列是Ground Truth，第3列是分割結果。從紅框標注出的地方可以看出，在原始圖像中，貼的較近的圖像，通過深度學習模型分割后，被連成了一片。
? ? ? ? 這里展示的結果和上述圖像一樣，紅框標注的位置顯示出來深度學習分割遇到了和傳統計算機視覺分割的相同的問題。
? ? ? ? 上述方法展示出了一些改進的U-Net算法，對于一般的U-Net，容易將貼的較近的細胞分割成一個整體，而采用一些優化手段和深度學習模型調整，能夠分開一些難分樣本。?
? ? ? ? ? ? 上圖在細胞分布得很開的情況下，分割效果較好。而對于連在一起，貼的很近的細胞，從黃色箭頭指示出的效果圖可以看出，U-Net依然沒有分割開來，而采用了優化方法的模型，能夠分割這類細胞。?
? ? ? ? ? ? 對于密集型細胞，分割效果只有在80%左右?。
? ? ? ? ? ? ?從上圖紅框可以看出，對于和背景顏色很相似的細胞，采用深度學習的方法，并不能有效的分割出來。?
? ? ? ? ? ? 一些U-Net在細胞分割和3D重建中的應用?。
5. 傳統細胞分割算法和基于深度學習的細胞分割算法對比總結
? ? ? ? 通過第4小節給出的各種實際分割效果展示，可以看出，對于細胞前景、背景差異較大，且細胞相對獨立，沒有大面積接觸，粘連在一起的情況，深度學習能夠對其較好的分割。而在處理難分的一片細胞時候，基于深度學習的分割算法也不能很好的分開。在細胞分割采用的評價標準里面，大部分分割算法的性能，都在90%前后。對于目前給定的數據集，由于前景、背景差異小，且細胞有很多連接在一起，采用基于深度學習的分割算法，其分割效果也不能保證和傳統算法比，有較大提升。
? ? ? ? 對于數據集的問題，由于細胞圖像分辨率較高，在一張圖像中存在的細胞大概有300個左右，需要人工將細胞的每個輪廓標注出來，比較耗時且標注的費用較大。因此，自制數據集需要較大的標注成本。
如果有用，記得點贊👍加收藏哦。！！！！
總結
以上是生活随笔為你收集整理的基于FCN，U-Net的深度学习医学影像分割算法（细胞分割算法）以及传统算法分析的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： PyTorch加载模型model.loa
- 下一篇： SSD(Single shot mult