空間變換網絡（Spatial Transform Networks，STN）

??該網絡不需要關鍵點的標定，能夠根據分類或者其它任務自適應地將數據進行空間變換和對齊（包括平移、縮放、旋轉以及其它幾何變換等）。在輸入數據在空間差異較大的情況下，這個網絡可以加在現有的卷積網絡中，提高分類的準確性。
??STN 計算較快，幾乎沒有增加原有網絡模型的訓練時間。由于它能夠在訓練過程中，學習到與任務相關的空間變換參數，因此能夠進一步最小化網絡的損失函數。STN 不只可以用在輸入的圖像層，也可以加入卷積層或者其它層之后。

總流程

??STN 主要可以分為三個部分：
??1）localisation network.用來計算空間變換的參數θ。
??2) grid generator. 得到input map U∈RH×W×C到 output map 各位置的V∈RH′×W′×C對應關系 Tθ。
??3) sampler. 根據input map U 和 對應關系 Tθ，生成最終的output map。

??流程圖如圖所示：

1）Localisation Network

??它的作用就是通過一個子網絡（全連接或者卷積網，再加一個回歸層），生成空間變換的參數θ。
??θ 的形式可以多樣，如需實現2D仿射變換，θ 就是一個6維（2x3）向量的輸出。

2）Parameterised Sampling Grid

??假設U (不局限于輸入圖片，也可以是其它層輸出的feature map)每個像素的坐標為(x_si,y_si)， V 的每個像素坐標為(x_ti,y_ti)，空間變換函數 Tθ 為仿射變換函數，那么 (x_si,y_si) 和 (x_ti,y_ti) 的對應關系可以寫為：
??(xsi，ysi)=Tθ(Gi)=Aθ(xti，yti)
??當然，Aθ也可以有其它形式，如3D仿射變換，透射變換等。

3）Differentiable Image Sampling

??在計算得到 Tθ 后，就可以由以下公式 U 得到 V 了（省略推導公式若干，只放上最終形式）：
??Vci=∑nH∑mW U_cnm max(0,1?|xsi?m|)max(0,1?|ysi?n|)

總結

以上是生活随笔為你收集整理的空间变换网络（Spatial Transform Networks，STN）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。