近期主要在做一個關(guān)于將三維CT影像和點云數(shù)據(jù)做配準(zhǔn)的項目，通過前期調(diào)研，業(yè)內(nèi)主要的方法是將CT影像使用MarchingCubes（移動立方體）生成等值面三角網(wǎng)格，然后再使用點云配準(zhǔn)的方法。

1、三維圖像轉(zhuǎn)三角網(wǎng)格（STL）

三維圖像轉(zhuǎn)stl網(wǎng)格，在vtk中已經(jīng)實現(xiàn)，主要使用MarchingCubes算法，簡單而有效，算法介紹詳見下面篇博文，對比眾多水文，這篇講的比較明白。
圖像數(shù)據(jù)到網(wǎng)格數(shù)據(jù)-1——MarchingCubes算法 - 止戰(zhàn) - 博客園原文：http://blog.csdn.net/u013339596/article/details/19167907概述 之前的博文已經(jīng)完整的介紹了三維圖像數(shù)據(jù)和三角形網(wǎng)格數(shù)據(jù)。在實際應(yīng)用中，利用遙https://www.cnblogs.com/zhizhan/p/3987254.html

2.配準(zhǔn)工具選擇

在配準(zhǔn)工具選擇中，先后使用了vtk和itk，其內(nèi)部都包含了icp算法的模塊，但都是經(jīng)典的point-to-point算法，而且只適宜對數(shù)據(jù)量較少的點進(jìn)行配準(zhǔn)，如果點太多，那么耗時太久，雖然itk官方例子中有可以通過構(gòu)建距離圖的例子加快運算，但通過實際使用，并沒有起到很好的加速作用，綜合比較之后，最終還是選用點云專門處理庫PCL做。

3.PCL配準(zhǔn)庫基本介紹

PCL配準(zhǔn)庫中集成了很多針對點云配準(zhǔn)的精配準(zhǔn)及粗配準(zhǔn)方法，主要類如下：

（1）CorrespondenceEstimation類，用來確定兩點云中的對應(yīng)匹配關(guān)系。

（2）CorrespondenceRejectorFeatures類，能夠?qū)崿F(xiàn)基于特征匹配的對應(yīng)點對提取。

（3）SampleConsensusPrerejective類，實現(xiàn)了基于RANSAC方法的對應(yīng)點對外點去除，用于姿態(tài)評估和點云配準(zhǔn)中的幾何一致性限制，從而保證后續(xù)算法的準(zhǔn)確和高效。

（4）TransformationEstimation3Point類，實現(xiàn)使用三個匹配點計算兩點云變換矩陣。

（5）TransformationFromCorrespondences類，實現(xiàn)三個及以上匹配點間變換矩陣的計算。

（6）TransformationEstimationDQ類和TransformationEstimationDualQuaternion類

實現(xiàn)基于對偶四元數(shù)的點云姿態(tài)估計。

（7）TransformationEstimationLM類，實現(xiàn)基于對應(yīng)匹配點對，用Levenberg-Marquardt優(yōu)化的變換矩陣估計。

（8）TransformationEstimationPointToPlane類，實現(xiàn)基于Levenberg-Marquardt優(yōu)化的匹配點對間最小點到平面距離的最優(yōu)變換矩陣計算。

（9）TransformationEstimationPointToPlaneWeighted類，在TransformationEstimationPointToPlane類的基礎(chǔ)上加入了對應(yīng)匹配點的權(quán)重，以適應(yīng)更為復(fù)雜場景點云配準(zhǔn)任務(wù)。

（10）TransformationEstimationPointToPlaneLLS 類，基于線性最小二乘的點到平面距離累計最小化約束，對應(yīng)點到平面的距離計算加入法向量約束，具體內(nèi)容參照論文：Linear Least-Squares Optimization for Point-to-Plane ICP surface registration 2014

（11）TransformationEstimationPointToPlaneLLSWeighted類，在TransformationEstimationPointToPlaneLLS 類基礎(chǔ)上加入了對應(yīng)點匹配權(quán)重，從而更合理的計算匹配點間變換矩陣。

（12）TransformationEstimationSVD類，使用SVD分解策略完成匹配點對的變換矩陣計算。

（13）TransformationValidationEuclidean類，實現(xiàn)了給定對應(yīng)匹配的變換，并計算可靠性得分。

（14）IterativeClosestPoint類，實現(xiàn)迭代最近點算法（ICP）。

（15）IterativeClosestPointNonLinear類，ICP算法的變體，后端使用Levenberg-Marquardt作為優(yōu)化。

（16）GeneralizedIterativeClosestPoint類，ICP算法的變體，實現(xiàn)了一般化的ICP算法，具體參考Generalized-ICP論文。

（17）GeneralizedIterativeClosestPoint6D類，集成了L*a*b*顏色空間到Generalized-ICP算法中。

（18）IterativeClosestPointWithNormals 類，ICP算法的變體，以點到平面的最小距離作為迭代優(yōu)化對象，實現(xiàn)點云配準(zhǔn)。

（19）FPCSInitialAlignment 類，實現(xiàn)《4-points congruent sets for robust pairwise surface registration》中的4PCS算法；

（20）KFPCSInitialAlignment類，實現(xiàn)《Markerless point cloud registration with keypoint-based 4-points congruent sets》中的k4PCS算法。

（21）NormalDistributionsTransform（NDT）類，統(tǒng)計分析點云中法向量分布，來實現(xiàn)點云的轉(zhuǎn)化和配準(zhǔn)。具體參考The Three-Dimensional Normal-Distributions Transform an Efficient Representation for Registration（2009）

4.配準(zhǔn)方法介紹

4.1采樣一致性初始配準(zhǔn)算法SAC-IA（Sample Consensus Initial Aligment?）

4.1.1介紹

? ? ? ?采樣一致性初始配準(zhǔn)算法通常基于特征描述子PFH和FPFH進(jìn)行配準(zhǔn)。

????????PFH（Point Feature Histograms）是一種點云特征點的特征描述子，是一種的姿態(tài)不變的局部特征，其目標(biāo)是編碼k鄰域中的幾何特征，關(guān)于PFH描述子生成的原理，網(wǎng)上有很多介紹，在此不再贅述，在PCL中PFH經(jīng)常會生成125維的向量，有些同學(xué)可能不太明白這個特征描述子為什么是125維，其實可以這樣想，PCL中主要使用經(jīng)典的PFH描述子k個鄰域內(nèi)兩兩點之間的四聯(lián)體（三個角度一個距離）中的三個角度變量（先叫三聯(lián)體），然后每個角度變量分成五份，我們可以先不要想125維的一維向量，先生成一個具有5*5*5維度的125個小格子的三維直方圖，然后每計算一個三聯(lián)體，在三維直方圖中符合的位置加1，然后計算結(jié)束之后，攤開，即成為了125維的一維向量。

????????FPFH特征描述子，對PFH特征進(jìn)一步優(yōu)化升級就得到了快速點特征直方圖(FPFH)。其計算過程如下：

（1）為查詢點求得它和其k鄰域內(nèi)每個點之間的三個特征元素值，然后統(tǒng)計成一個SPFH；

（2）分別對k鄰域中的每個點確定k鄰域，按第一步分別形成自己的SPFH；

（3）加權(quán)統(tǒng)計生成最終的33維度的特征向量（每個特征維度生成一個直方圖，最后連在一起）

????????PFH和FPFH的主要區(qū)別

????????（1）FPFH沒有對全互聯(lián)點Pq的所有鄰近點的計算參數(shù)進(jìn)行統(tǒng)計，因此可能漏掉了一些重要的點對，而這些漏掉的點對可能對捕捉查詢點周圍的幾何特征有貢獻(xiàn)。

????????（2）PFH特征模型是對查詢點周圍的一個精確的鄰域半徑內(nèi)，而FPFH還包括r范圍以外2r以內(nèi)的額外點對。

????????（3）因為重新計算權(quán)重的方式，FPFH通過結(jié)合SFPH的值，重新捕獲鄰近重要點對的幾何信息。

????????（4）FPFH的整體復(fù)雜性低，FPFH在實際的應(yīng)用中更為常見。

4.1.2流程

（1）計算PFH或者FPFH特征描述子

（2）SAC配準(zhǔn)(配準(zhǔn)的采樣記錄要大于某個閾值，保證采樣點具有不同的特征）,使用Huber作為罰函數(shù)

（3）進(jìn)行精配準(zhǔn)

4.1.3算法適用范圍

粗配準(zhǔn)，可以看到該配準(zhǔn)方法還是基于局部特征描述子的一種配準(zhǔn)方法。在醫(yī)療圖像軟件中基于特征描述子配準(zhǔn)方法使用較少，更多的是先人工選擇一些特征點，完成粗配準(zhǔn)。

?4.1.4參考資料：

（1）PFH和FPFH_xinxiangwangzhi_的博客-CSDN博客

（2）SAC-IA粗配準(zhǔn)+ICP精配準(zhǔn)_peach_blossom的博客-CSDN博客_sac-ia

4.2 Point to Point ICP算法

4.2.1算法介紹

方法來自論文《A method for registration of 3-D shapes》，網(wǎng)上介紹比較多，在后續(xù)項目中也使用了該算法，總體來說效果還可以，主要公式如下：

算法主要包含兩個步驟

（1）在moving點云在fixed點云中每個點的最近點，在PCL中默認(rèn)會構(gòu)建fixed點云KD-tree，所以在配準(zhǔn)時，速度比ITK要快很多

（2）基于找到的最近點對，求解最優(yōu)變換矩陣，在PCL中使用SVD來求解。

4.2.2算法中設(shè)置需要設(shè)置的變量說明

（1）setMaximumIterations，設(shè)置最大迭代次數(shù)

（2）setEuclideanFitnessEpsilon，收斂條件，均方誤差小于此值就停止迭代。

（3）setTransformtionEpsilon，收斂條件，設(shè)置兩次變化矩陣之間的差值小于此值就停止迭代。

（4）setMaxCorrespondenaceDistance，設(shè)置對應(yīng)點對之間的最大距離，在步驟1中使用。

4.2.3算法使用中需要注意的問題

（1）ICP算法對初始值很敏感，極容易陷入局部最優(yōu)解，所以在迭代之前最好設(shè)計好初始值。

（2）ICP算法原來上來講要對moving中找到在fixed點云中的對應(yīng)點，然后來計算轉(zhuǎn)換矩陣，如果在moving點云中包含了不應(yīng)該配對的點，這會導(dǎo)致計算誤差，這種情況應(yīng)該避免

（3）ICP的moving點云中最好少用一些平面或者掃描面的點，這種類型點太多的話，對結(jié)果影響較大，對于ICP算法來講，moving點云中盡量包含較多有一定曲率，并且距離較遠(yuǎn)的點，這樣可能會提高精度。

（4）如果moving點云中包含了太多點，可以使用降采樣來過濾一些點。

4.2.4適用范圍

地球人都知道在精配準(zhǔn)中使用.

?????

4.3 Point to Plane ICP

4.3.1算法介紹

???出自《Object Modeling by Registration of Multiple Range Images》，基本原理如下：

后續(xù)由《Linear Least-Squares Optimization for. Point-to-Plane ICP Surface Registration》這篇論文將該問題轉(zhuǎn)換成了近似的線性最小二乘問題，可以使用SVD求解

4.3.2算法適用范圍

（1）算法比point to point 方法可以提高收斂速度，但論文中提到不一定會收斂到全局最優(yōu)解

（2）算法中主要使用了法向量來計算，所以在配準(zhǔn)中使用準(zhǔn)確的法向量至關(guān)重要，主要可以通過兩個方法來保證①對比較平滑、質(zhì)量較好的點云使用該方法②如果原始點云質(zhì)量不太好，那么在相對smooth區(qū)域采樣，然后進(jìn)行配準(zhǔn)。

參考文獻(xiàn)

【1】https://blog.csdn.net/pingjun5579/article/details/118546565

4.4 Plane to Plane ICP

4.4.1介紹

該方法在論文《Generalized-ICP》中最先提出來，Generalized-ICP其實是一種基于概率論的算法框架，將point to point 和point to plane作為該框架中的一種特例，并且又提出了plane to plane方法，該方法的特點是綜合考慮了距離和法向量，收斂效果較好，可以糾正最大匹配距離設(shè)的值比較大的情況，具體算法介紹可以參照如下文章：

[論文閱讀][ICP變種] Generalized-ICP_你代碼像一首詩的博客-CSDN博客

4.4.2適用范圍

由于該方法也使用了法向量，如果點云中噪聲比較多，那么計算的法向量就不太準(zhǔn)確，也會影響最終精度，對于醫(yī)療圖像來說，如果骨質(zhì)成像不好，直接使用移動立方體生成的stl網(wǎng)格是及其不平滑的，這時候可以先平滑后再使用該方法，綜合icp三種方法，油管有個up主建議generalized icp應(yīng)該是使用icp算法時首選的方法。

4.5 NDT算法

4.5.1原理介紹

NDT（Normal Distribution Transformation）算法主要有三篇論文：

1. <A new approach to laser scan matching> 認(rèn)為是它首先提出的，不過是2D2. <The Three-Dimensional Normal-Distributions Transform - an Efficient Representation for Registration,Surface Analysis, and Loop>領(lǐng)域應(yīng)用到了3D3. <A 3-D Scan Matching using Improved 3-D Normal Distributions Transform for Mobile Robotic Mapping>做了全面的總結(jié)和拓展，博士論文

網(wǎng)上寫該算法原理的最多是第二篇，這也是激光點云配準(zhǔn)中經(jīng)常使用的一種方法，通過學(xué)習(xí)該算法，可以知道，該算法的思想與Generalized ICP算法非常類似，都使用了概率分布，而且都假設(shè)點主要分布服從正態(tài)分布，不同的是Generalized ICP直接假設(shè)點的位置符合高斯分布，而在NDT算法中假設(shè)每個分成的小格子內(nèi)部的點符合高斯概率分布（實現(xiàn)時會加入均勻分布），這樣做我個人感覺會減少計算時間，加快計算速度。NDT基本原理和步驟如下：

（1）分成小格子，計算每個小格子中的高斯分布參數(shù)，主要是均值和協(xié)方差矩陣（協(xié)方差矩陣表征了當(dāng)前小格子中點分布的平滑性和方向）

（2）通過轉(zhuǎn)換矩陣T將浮動點云（moving cloud）變換到（1）中分成的小格子中，然后計算每個變換點在小格子中的概率，這個概率是該變換點在周圍鄰近小格子中概率之和，最后通過最大似然估計原理，將每個變換點的概率相乘得到最終的目標(biāo)函數(shù)。

（3）使用牛頓迭代法求解變換矩陣，查看是否滿足收斂條件，不滿足，則轉(zhuǎn)到（2）中。

4.5.2適用范圍

這種方法相對于icp等算法，具有更好的魯棒性，但也會受到初始條件的影響，主要通過計算概率分布作為主要的收斂目標(biāo)，其應(yīng)該能達(dá)到較好的形狀匹配，可用于精確配準(zhǔn)。

4.5.3一些質(zhì)量較高的參考鏈接

（1）學(xué)習(xí)教程：點云匹配-正態(tài)分布變換NDT（Normal Distributions Transform）算法_嗶哩嗶哩_bilibili

（2）

點云 | 配準(zhǔn)之NDT算法漫談 - 墨天輪

（3）https://www.youtube.com/watch?v=MLpaC-ZG2RA

4.6 4PCS算法

沒時間寫了，有時間再寫。

5.總結(jié)

通過這個項目，把點云配準(zhǔn)中幾個具有代表性的算法進(jìn)行了梳理，小有收獲。
?

6.其他參考文獻(xiàn)：

[1] Lorensen, W. E. and H. E. Cline(1987). “Marching cubes: A high resolution 3D surface construction algorithm.” Computers & Graphics.

[2]【泡泡點云時空-PCL源碼解讀】PCL中的點云配準(zhǔn)方法_算法

總結(jié)

以上是生活随笔為你收集整理的医疗图像配准-点云配准总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。