基于區域協方差的結構保持圖像平滑

原文：https://dl.acm.org/citation.cfm?id=2508403

摘要
近年來見證了新的圖像平滑技術的出現，這些技術提供了新的見解并提出了關于這個研究得很好的問題的本質的新問題。具體而言，這些模型通過利用邊緣的非梯度定義或區分邊緣與振蕩的特殊度量將給定圖像分離為其結構和紋理層。在這項研究中，我們提出了另一種簡單的圖像平滑方法，它取決于簡單圖像特征的協方差矩陣，即區域協方差。使用二階統計量作為補丁描述符允許我們隱式地捕獲局部結構和紋理信息，并使我們的方法對于從紋理的結構提取特別有效。我們的實驗結果表明，與最先進的方法相比，所提出的方法導致更好的時間分解，并且保留了突出的邊緣和陰影。此外，我們還展示了我們的方法在某些圖像編輯和操作任務中的適用性，例如圖像抽象，紋理和細節增強，圖像合成，逆半色調和縫合雕刻。

關鍵字：圖像平滑，結構提取，紋理消除，區域協方差

1 介紹
????自然圖像提供有關我們生活世界的豐富視覺信息，并且通常包含以有意義的配置組織的各種對象。例如，考慮圖1中給出的圖像，其顯示了由巖石表面上的高度紋理化的圖形組成的歷史站點。雖然我們的視覺系統非常成功地提取圖像下方的突出結構而不會被紋理分散，使機器能夠執行相同的任務，即將圖像分解成其結構和紋理組件，這提出了巨大的挑戰。
????從計算的觀點來看，圖像分解可以表示為估計問題，其中給定圖像被分成分別對應于粗略和精細圖像細節的兩個分量。從歷史上看，高斯濾波器是最古老的，也是最常用的平滑算子[Witkin 1984; Burt and Adelson 1983]。它提供了圖像的線性刻度空間表示，其中輸入圖像在所有方向上以恒定速率平滑。非線性尺度空間算子通過創建圖像的尺度空間表示來擴展線性算子，該圖像由逐漸簡化的圖像組成，其中保留了諸如邊緣的一些圖像特征[Perona和Malik 1990;魯丁等人。 1992; Tomasi和Manduchi 1998; Durand和Dorsey 2002; Buades等。 2005; Farbman等。 2008;徐等人。 2011]。這些運算符中的每一個都以不同的方式在平滑處理中集成先驗邊緣信息，目的是提取或刪除某些圖像細節。
????邊緣保持平滑方法，即各向異性擴散濾波器[Perona和Malik 1990]，總變差模型[Rudin等。 1992年]，雙邊過濾器[Tomasi和Manduchi 1998; Durand和Dorsey 2002]，NL-means過濾器[Buades et al。 2005]，WLS fil ter [Farbman et al。 2008]，L0平滑[Xu et al。 2011]通常采用亮度值或梯度幅度的差異作為圖像像素處的邊緣指示符的主要提示，并利用該信息來指導平滑處理。然而，這些基于對比度的局部對邊緣的定義可能無法捕獲與精細圖像細節或紋理相關的高頻分量。因此，這些方法不能將紋理區域與主結構完全分離，因為它們將它們視為在計算期間要保留的結構的一部分。
????在本文中，我們提出了一種新穎的結構保持圖像平滑方法，它共同消除紋理。在文獻中，只有少數研究解決了從紋理中提取結構的挑戰性問題[Meyer 2001; Subr等。 2009年; Farbman等。 2010; Buades等。 2010;徐等人。 2012]。與之前的模型相比，我們的方法執行基于補丁的分析，這取決于二階特征統計。具體來說，我們考慮區域協方差矩陣[Tuzel et al。在簡單的圖像特征中，例如強度，顏色和方向，以估計簡單自適應濾波框架內的兩個圖像塊之間的相似性。如圖1所示，所提出的模型可以有效地消除紋理而不會扭曲結構。從紋理中提取結構大大提高了許多圖像編輯工具的結果。在整篇論文中，我們還將展示幾種圖像編輯和操作應用，包括圖像抽象，紋理和細節增強，圖像合成，逆半色調和縫合雕刻。

圖1：我們的方法利用區域協方差將圖像分解為粗糙和精細分量。粗糙分量對應于圖像下方的突出結構，而精細分量僅包括紋理。我們的平滑方法成功捕獲了人物紋理和巖石紋理，同時保留了提取結構中的邊緣（源圖像c reibai）。

2 背景
2.1 前期工作
????在文獻中，傳統的結構保持圖像分解策略是執行聯合圖像平滑和邊緣檢測[Perona和Malik 1990;魯丁等人。 1992; Tomasi和Manduchi 1998; Farbman等。 2008;徐等人。 2011]。這些統一的方式通過平滑圖像，同時保留甚至增強圖像邊緣，簡單地將給定圖像分解為結構和細節，并且它們在如何定義邊緣以及該先驗信息如何指導平滑方面彼此不同。
????各向異性擴散模型[Perona和Malik 1990]采用基于PDE的公式，其中從圖像梯度估計像素方式的空間變化的差異。這些擴散性可防止圖像邊緣平滑，并保留重要的圖像結構，同時消除噪聲和細節。
????雙邊過濾[Tomasi和Manduchi 1998; Durand和Dorsey 2002]是另一種廣泛使用的模型，用于消除圖像中的噪聲，同時進行細節平整和邊緣保護。由于其簡單性和有效性，雙邊過濾已成功應用于幾種計算攝影應用[Fattal等。 2007; Winnemoller等。 2006年]。
????然而，正如Farbman等人所指出的那樣。 [2008]，通過雙邊濾波的多尺度圖像分解由于正在進行的粗化處理而具有一些光暈偽像。加權最小二乘濾波（WLS）[Farbman et al。通過強制除了大梯度值外的濾波圖片平滑的方式來控制平滑級別克服了偽影問題。
????在最近的一項工作中，徐等人。 [2011]引入了一種使用稀疏梯度測量的魯棒濾波方法。優化框架將具有非零梯度幅度的圖像像素的數量視為可以與L0范數相關聯的正則化約束。因此，所提出的濾波器以小的梯度幅度去除圖像細節，同時保留甚至增強圖像中最顯著的邊緣。
????上述研究都取決于梯度幅度或亮度差異。因此，正在進行的平滑處理通常不能將精細圖像細節或紋理與主圖像結構區分開，因此導致不令人滿意的圖像分解。一些研究試圖通過使用基于測地線的更好的相似性度量來改善這種分離[Cri minisi et al。 2010]或擴散[Farbman et al。 2010]距離代替傳統的歐幾里德距離用于顏色或強度比較。
????另一種邊緣保持正則化框架是總變分（TV）模型[Rudin等。 1992]，它使用基于L1范數的正則化約束來懲罰大的梯度量值。在其原始配方中，該模型為結構與紋理提供了相當好的分離。一些研究擴展了標準化電視制定的正則化和數據保真度術語的不同規范，并證明更強大的規范可以改善圖像分解[Aujol et al。 2006; Meyer 2001]。在[Buades等人。 2010年，作者提出了一種相對簡單的技術，通過使用非線性低通高通濾波器對將圖像分解為結構和振蕩紋理分量。它用于計算像素周圍圖像的局部總變化，然后執行分解。最近，徐等人。 [2012]提出了另一種具有相對總變差測量的穩健方法，并表明通過空間變化的總變差測量可以實現更好的分離。
????Subr等人已經提出了用于多尺度圖像分解的替代模型。 [2009]，其特別旨在消除通常對應于紋理的圖像的振蕩分量并提取包含顯著結構的層。建議的框架通過極值分析進行這種分離，其中首先從局部最小值和最大值的外推估計出最小和最大極值包絡，然后通過極值包絡的平均年齡來計算平滑結果。由于該框架在其計算中考慮了紋理的振蕩行為，因此與大多數邊緣保留圖像分解模型相比，它提供了更好的結果。然而，實際上，當對包含紋理和有意義結構的圖像區域進行分析時，這種平均思想可能會失敗。
????總之，大多數現有的圖像分解模型旨在從具有邊緣保留能力的噪聲中提取結構。然而，其中只有少數具有從紋理中提取結構的特定目標。我們在本文中提出的公式與這些相關工作的不同之處在于它基于基于補丁的框架并且采用基于區域協方差描述符的相似性度量。在第4節中，我們提供了這些方法的結果比較和討論。
2.2 區域協方差
????通過從其中的像素提取的特征的協方差表示圖像區域，稱為區域協方差描述符，首先在[Tuzel等人提出。 2006年]。在數學術語中，設F表示從圖像I中提取的特征圖像：

????其中φ定義了一個映射函數，它從每個像素i∈I中提取d維特征向量（例如由強度，顏色，方向，像素坐標等構成）。然后，可以表示特征圖像F內的區域R使用d×d協方差矩陣CR來表示特征點：

????zk = 1 … n表示R內的d維特征向量，μ表示這些特征向量的平均值。
????協方差矩陣提供了一種緊湊而自然的方式來融合不同的視覺特征，其對角元素表示特征方差，其非對角元素表示特征之間的相關性。此外，它在區分局部圖像結構方面提供了極大的判別力。如圖2所示，具有相似紋理和局部結構的區域由相似的協方差矩陣描述。在這項研究中，我們使用區域協方差描述符來測量兩個像素之間相對于局部圖像幾何的相似性。

圖二：公眾可獲得的芭芭拉圖像的不同區域的區域協方差描述符。具有相似視覺特性的區域由類似的協方差描述符表示。在該示例中，協方差表示基于非常簡單的圖像特征，即強度，方向和像素坐標（等式6）。
????盡管具有這些優點，但是將兩個圖像區域與其協方差描述符進行比較往往在計算耗時，因為協方差矩陣不存在于歐式空間上，而是存在于黎曼流形上，并且需要非平凡的相似性度量[ Tuzel等人。 2006; Cherian et al.2011]。 Hong等人提出了一個有趣的問題。 [2009]作者利用每個協方差矩陣（對稱正半確定矩陣）具有唯一的Cholesky分解并將其用于將協方差矩陣變換為歐幾里德向量空間的屬性。
????更正式地，令C為d×d協方差矩陣，一組唯一的點S = {si}，稱為Sigma點，可以計算如下：

????其中Li是下三角矩陣L的第i列，其中Cholesky分解C = LLT，α是標量1。在這里，重要的是要注意L的列具有與原始協方差矩陣C相同的二階統計量[Hong et al。 2009年]。

3 方法
????許多自然紋理位于規則和隨機紋理的兩個極端之間，因為它們包含規則的周期性結構以及附加的不規則隨機分量。在這里，我們采用紋理的一般定義作為任何具有獨特外觀和局部統計的視覺模式[Efros and Leung 1999]。在這方面，區域協方差描述符[Tuzel et al。由于協方差矩陣通過特征之間的二階統計關系有效地編碼局部幾何，因此是表示紋理信息的完美候選者。但是，應該注意的是，這個描述符有一個小缺點，即它不能解釋平均值的差異。因此，在本文中，我們研究了兩種不同的模型，它們結合了一階和二階統計量，提出了一個簡單而有效的過濾框架，用于從不同類型的紋理中提取結構。
????我們的目標是將給定的圖像I分解為其結構（S）和紋理（T）部分，即：

????在這項研究中，我們遵循基于補丁的方法，非常類似于NL-Means [Buades等人。 [] 2005]方法，并將像素p的結構分量計算為：

????其中N（p，r）表示以p和大小（2r + 1）×（2r + 1）像素為中心的平方鄰域，并且wpq是像素p和q基于在這些像素中心的k×k補丁之間的相似性測量的權重，Zp = Pq wpq是歸一化因子。
????我們的自適應過濾框架的關鍵在于我們如何定義wpq。與基于斑塊之間的高斯加權歐氏距離計算wpq的NL-Means方法相比，這里我們提出了兩種基于區域協方差的替代方案[Tuzel等人。 2006]描述符，它利用一階和二階統計來編碼局部結構以及紋理信息。
????提出的框架非常普遍不依賴于特殊的特征。在我們的實現中，我們使用簡單的視覺特性，即強度，方向和像素坐標，以便用7維特征向量表示圖像像素：

????其中I表示像素的強度，2、3、4、5項分別是x和y方向強度的一階和二階導數，通過濾波器[-1 0 1]和[-1 2 -1]估算，和（x， y）表示像素位置。因此，圖像塊的協方差描述符被計算為7×7矩陣。將（x，y）包括在特征集中很重要，因為它允許我們用空間坐標編碼其他特征的相關性。如果需要，可以擴展特征集以包括其他特征，例如衍生物的旋轉不變形式。
????在實驗中，我們通過使用強度信息計算補丁相似性權重wpq并且在相應的RGB矢量上取加權平均而不是等式5中的強度值來處理彩色圖像。我們憑經驗發現將RGB分量包括在特征集中不會改變結果，但會增加運行時間。

模型一
????使用由方程（3）定義的集合S，可以通過簡單地連接S的元素來獲得協方差矩陣的矢量表示。此外，通過包括特征μ的平均向量，可以容易地將一階統計量結合到該表示方案中。由Ψ（C）表示的這個豐富的特征向量定義為：

????然后，我們簡單地將方程（5）中的權重wpq定義為：

????Cp和Cq分別表示從以像素p和q為中心的片段中提取的協方差描述符。

模型二
????作為測量兩個圖片像素相對于一階和二階特征統計的相似性的另一種方法，我們提出了一個距離測度，可以看作是兩個正態分布之間的馬哈拉諾比斯距離的近似。更具體地，對于兩個圖像像素p和q，相應的距離測量定義為：

????有C = Cp + Cq，μp和μq以及Cp，Cq表示從以像素p和q為中心的圖像塊提取的特征的均值和協方差。
????基于該測量，等式中的計算的自適應權重可以替代地如下定義：

????算法1總結了我們的結構保持圖像平滑算法的簡單實現。我們的代碼在項目網站上公開。

????圖3顯示了使用我們的平滑模型（模型1和模型2）獲得的樣本結構 - 紋理分解。輸入圖像包含具有不同特征的各種紋理區域，例如鋪在桌子上的布料，褲子和女孩的圍巾。可以看出，兩個提出的模型成功地將紋理與結構分離，模型2略微優于模型1.有趣的是，方程8和10中定義的相似性度量非常有效，它們可以從紋理中區分局部結構，不使用顯式邊或紋理定義。此外，正如我們將在第4節中分析的那樣，我們的方法的一個關鍵差異是我們的兩個平滑模型也保留陰影信息。

圖3：頂行：模型1，底行：模型2.桌布，褲子和圍巾的紋理以精確的方式提取。在平滑過程中，模型2保留圖像邊緣略微優于模型1，同時消除紋理。

參數的影響
????我們的兩個模型都有兩個主要參數，k和σ。空間參數σ控制平滑的級別，因為它隱含地確定了鄰域窗口的大小。對于小的σ值，我們有限的平滑，而增加σ的值會導致模糊。另一方面，參數k控制從中計算特征統計的塊的大小，并因此控制要捕獲的局部結構信息。因此，應該通過考慮紋理元素的比例來設置其值。在這方面，結構紋理分離比空間參數σ更重要。如圖4所示，利用適當的k值，可以準確地將馬賽克圖像的結構分量與紋理分離。過打增加塊大小可能會導致從塊中提取不準確的信息，因為它可能會混合紋理和有意義的結構，從而導致結構被視為精細細節。在所有實驗中，我們根據經驗將鄰域大小設置為21×21像素（有關改變鄰域窗口大小的影響的分析，請參閱補充材料）。

多尺度分解
????在平滑給定圖像I的同時，我們的方法將其分離為結構組件S和紋理組件T.我們迭代地使用該過程來獲得輸入圖像的多尺度分解，其中每個層捕獲不同的精細細節。我們通過在每次迭代時增加塊k大小（通過增加分析的規模）并通過在迭代時使用提取的結構分量作為后續迭代中的平滑過程的輸入來平滑輸入圖像：在n次迭代之后，這會產生分解：

????這里，T1，T2 ,. 。 .Tn表示在粗糙度增加的情況下提取的紋理成分，而Sn是最粗糙的結構成分。圖5顯示了通過所提出的模型1獲得的兩幅梵高繪畫的多尺度表示（參見模型2結果的補充材料）。通過積極地平滑圖像，從每層的原始繪畫中平滑出一些精細的細節。最粗糙的圖層表示不包含任何筆觸，我們獲得原始繪畫的更平滑版本。

圖5：通過增加k的值并逐漸平滑圖像，我們提取原始繪畫的較粗糙的表示。每個平滑操作使得從圖像中去除不同的精細細節，并且最終級別平滑完全消除了存在于畫面中的畫筆筆劃（源圖像 ?維基共享資源）。

噪聲的影響
????在圖6中，我們呈現了樣本圖像及其噪聲對應物的平滑結果。可以看出，我們的兩個模型都成功地在噪聲下提取了結構。干凈的結構和清晰的噪聲圖像在視覺上非常相似。這種現象可歸功于公式8和10中基于塊的相似性度量對噪聲具有魯棒性。

圖6：所提出的模型在凈圖像及其噪聲對應物上產生的平滑結果。我們的兩個模型都能在存在噪聲的情況下有效地恢復結構信息。

計算成本
????在計算上，我們方法中最耗時的部分是自適應權重的估計，其涉及提取區域協方差描述符并計算它們之間的距離。我們注意到，任意矩形區域的特征協方差矩陣可以在O（d^2）時間內通過利用求和面積表有效地計算，也稱為積分圖像[Tuzelet al。 2006年]。
????我們當前的Matlab實現沒有經過大量優化，并且在具有8 GB RAM的3.40 GHz Intel Core i7-2600處理器上執行。使用我們的模型1和模型2，313x296彩色圖像的單個尺度分解分別需要72和101秒。僅僅因為方程9中的矩陣求逆運算，模型2的計算成本略高于模型1的計算成本。我們相信通過并行GPU實現或通過以下方式可以大大提高模型的運行時間性能。使用一些巧妙的采樣和/或散列策略[Baek and Jacobs 2010; Dowson和Salvado 2011]。

4 對照
????在我們的實驗中，我們將我們的方法與一些最先進的邊緣保持平滑方法進行了比較[Rudin et al。 1992年; Tomasi和Manduchi 1998年; Farbman等。 2008; Subr等。 2009; Buades等。 2010;徐等人。 2011;徐等人。 2012]。模型的評價是基于良好的方法應該僅平滑細節和紋理并保持結構，并且提取的紋理或所謂的細節分量應該沒有關于結構的任何信息來定性地進行。
????在圖7中，我們提供了圖2中引入的Barbara圖像的平滑結果，以及包含不同紋理的圖像區域的相應細節部分。對于所有測試方法，我們對其參數進行了微調。正如預期的那樣，特別適合于紋理平滑的模型，即[Subr et al。 2009年; Buades等。 2010; Xu et al.2012]，給出了令人滿意的工廠成果。然而，與我們的方法相比，[Subr等人的方法]。 2009年;徐等人。在平滑期間，似乎會降低主要結構，因為一些結構在細節組件中清晰可見。 [Buades等人的模型]。 2010]相對較好地捕捉細節和紋理組件，但其結構組件仍包括一些紋理（特別是在桌布和草椅上）。至于我們的模型，模型2比模型1產生更好的結構 - 紋理分解。從圖8中給出的特寫視圖可以看出，我們的兩個模型都保留陰影，非常好地捕獲紋理邊界，并且不會受到桌布上任何階梯狀邊緣的影響。此外，大多數其他模型在其紋理/細節層中產生一些偽彩。該層中的滲色表明相應的平滑方法不能很好地保持結構并且不斷地使顏色信息惡化。圖9中提供了馬賽克圖像的另一種比較。

圖9：吉普賽女孩馬賽克圖像的平滑效果。

5 應用
????許多圖像編輯和操作任務可以從紋理中提取良好的結構提取中受益。在下文中，我們將展示這些應用程序，這些應用程序將突出我們方法的有效性。

5.1 圖像抽象
????雖然紋理豐富了我們的視覺世界并使物體更加豐富和逼真，但它們通常被認為是圖像中不可繪制的部分[Marr 1982]。因此，消除紋理而不降低分級結構可能有助于簡化圖像并提供非逼真的外觀。在圖10中，我們提出了一些圖像抽象結果，這些結果是由[Winnemoller等人提出的圖像抽象方案獲得的。我們用我們的結構保持平滑方法替換了雙向濾波。在這些例子中，與模型2相比，使用模型1導致更像卡通的結果。

圖10：圖像抽象結果。我們的模型有效地從結構中去除紋理，并且提取的結構可用于獲得場景的非真實感渲染。

5.2 紋理和細節增強
????我們可以通過考慮不同尺度的結構和紋理將圖像分解成多個層。這種分解使我們能夠增強和增強其紋理和精細細節或粗細節，如圖11所示。輸入圖像包含一個活雕像，我們增強或減少了面部皮膚和皺褶衣服的細節。對于我們所有的模型，提升精細特性有效地增強了圖像中的細節，而不會模糊邊緣，因為它們成功地從圖像中捕獲低頻結構組件。因此，新圖像具有高對比度和細節紋理，因此紋理增強使得輸入圖像對于使用我們的平滑方法獲得的不同比例紋理更具吸引力。類似地，當我們增強粗糙特征時，相應地消除紋理和精細細節，并且僅在所得圖像中保持可見的突出結構。

圖11：紋理和細節增強結果（左：模型1，右：模型2，來自柯達PhotoCD，照片采樣器的Stephen Wolf的輸入圖像）。

5.3 圖像分解
????繪畫，馬賽克，紡織品的圖像包含不同類型的文字。將這樣的圖像直接組合成另一個圖像可能給出視覺上不可信的結果，因為紋理信息與結構信息一起被傳送。我們的結構 - 紋理組合方法可以通過在輸入圖像之一的結構層上執行圖像合成來幫助獲得視覺上更合理的結果。在圖12中，我們提出了這樣一個例子，其中一個輸入是紙張圖像而另一個輸入是針織圖案。從圖中可以看出，當通過考慮圖案圖像的結構層（模型1結果）來執行合成時，由于遺漏了紋理層中的細節，因此合成圖像具有更自然的外觀。

圖12：圖像合成結果。頂行：輸入圖像及其提取的結構組件。底行：使用原始圖像和結構圖像獲得的組合圖像（源圖像c Sew Technicolor，目標圖像 ? designshard）。

5.4 反半色調
????我們在掃描的彩色漫畫上執行了我們的圖像平滑模型，以再現半色調的連續色調。圖13給出了一些結果，我們將結果與最近提出的漫畫的反半色調方法進行了比較[Kopf和Lischinski 2012]。我們的重建很少有人工制品，細節大部分保存完好。此外，我們還展示了使用沖擊濾波器對平滑結果進行后處理所獲得的結果[Gilboa et al。 2002]增強邊緣。盡管我們的方法沒有像[Kopf和Lischinski 2012]那樣明確地檢測點圖案和黑色墨水，但它提供了視覺上可信的結果。

圖13：反半色調結果。來自鋼鐵俠的作物（輸入圖像c漫威漫畫）

5.5 縫雕刻
????[Avidan and Shamir 2007]中介紹的Seam Carving方法通過考慮其內容來調整給定圖像的大小。相關的調整大小過程使用基于梯度的能量函數，該函數針對每個像素進行計算。然而，自然場景不僅在圖像邊緣而且在紋理圖像區域上具有高梯度值。因此，接縫雕刻方法可能提供不令人滿意的工廠結果，因為它保留了包含諸如波浪，巖石，石頭等細節的紋理區域。草等，即使它們是背景的一部分，也不如前景物體突出。
????圖14顯示了RetargetMe數據集[Ru賓斯坦等人。 2010]。在這張海灘照片中存在的海浪和巖石具有高梯度值，因此使得Seam Carving幾乎完全保留這些區域在調整大小的輸出圖像中。另一方面，如果我們估計的是原始圖像上的能量函數，而不是我們的模型1提取的結構成分，那么得到的調整大小的圖像在視覺上變得更加愉悅。在這種情況下，該方法不再保留紋理部分，更多地從它們中選擇接縫，并因此使視覺上重要的結構保留在最終結果中。

圖14：Seam Carving結果。左欄：原始模型。右欄：由我們的結構 - 紋理分解方法修改的模型。行從上到下：由Eric Chan從RetargetMe數據集輸入圖像，消除接縫和調整大小的輸出圖像。

6 討論
????我們提出了使用區域協方差來保持圖像平滑的結構的想法。我們的方法采用一階和二階特征統計來獲得局部圖像塊的隱式嵌入，這允許我們在單個表示內描述和區分局部結構和紋理。我們已經證明，使用這樣的統計測量提供了比先前工作更好的結構/紋理分離，并且改善了許多圖像編輯和操縱應用的結果。
????我們的方法的一個缺點是，當在外觀和比例方面附近存在統計上相似的結構時，它有時可能將一些圖像結構誤解為紋理。圖15示出了由于字符的重復性而使符號中的文本平滑的示例。我們認為采用更復雜的功能可能有助于緩解這一問題。

圖15：失敗示例。我們的方法錯誤地將符號中的文本解釋為紋理，因為角色在外觀和重復行為方面具有相似的特征。
????需要進一步調查的一個重要問題是擴展多尺度分析的方法。我們當前的擴展以迭代方式運行，通過增加補丁大小來平滑輸入圖像，并在實踐中給出了良好的結果。未來工作的一個有趣方向是利用區域協方差描述符的全部潛力，其大小完全取決于關于功能的數量而不是該地區的大小。這開啟了統一的多尺度公式的可能性，其中在不同尺度上同時進行平滑，如[Zontak等人。 2013。這可以帶來進一步的改進。

總結

以上是生活随笔為你收集整理的基于区域协方差的结构保持图像平滑的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。