數據增強早已被廣泛應用在提升模型泛化能力上，通過"創造"額外的樣本輸入給模型使得模型更加魯棒。近期又有隱式數據增強，不是通過直接創造樣本來提高模型效果，那隱式數據增強究竟是怎么做的呢？

我們知道，模型在訓練集和測試集表現的的差異，主要來自于這兩個樣本數據分布的差異，所以模型就在訓練集上表現更好而在測試集上欠佳，特別是NN類的模型，更容易過擬合。顯式的數據增強很明顯會增加訓練成本，因為使用無監督方法創造了更多的樣本，而隱式數據增強能夠實現相似的效果或更好的正則化效果，而且不用提高訓練成本。

數據增強方法

數據：

數據增強的目的就是增加額外樣本，使得訓練數據分布更接近測試數據。除了直接調整輸入數據，直接在encoding層后的隱層空間做操作，可以導致更加線性可分的特征空間。在隱層空間直接采樣，在觀測值中間做插值，可以沿著方差最大的維度進行插值，以提高可解釋性。此外也可以對樣本進行擾動，在隱層空間生成比較hard的對抗樣本。

網絡結構：

模型結構定義了從輸入數據到輸出預測的信息流?，F在，我們不再生成不同版本的訓練數據，而是在相同的訓練數據上使用不同版本的網絡結構。網絡結構引入的隨機噪聲，類似dropout，防止過度依賴網絡的特定部分，使模型更加魯棒，對數據中的噪聲不那么敏感。同時也可以引入多個版本的數據和網絡結構。

Loss函數:

適當的加入正則化并給個合適的系數，例如norm-based的懲罰項像是Lasso，通過在特征空間中隱式引入隨機擾動，會增強模型魯棒性?；趨f方差的懲罰項也可以作為隱式數據增強技術。因此，在loss函數中引入正則項影響是比較大的，此外，對系數的調整大多是即時的、一步到位的，這并不能保證它在長期內是最優的。對系數進行多步懲罰似乎可以在短期和長期效果之間進行權衡，就像在強化學習的訓練過程。

優化算法：

隨機梯度下降是訓練神經網絡中最常用的算法，它被證明是一種隱式正則化器。這意味著，對于相同的輸入數據，與每次迭代的一批樣本相比，當分別對每個樣本進行訓練時，模型可能更具泛化能力。還有些其他方法，例如小權重初始化和大初始學習率，也能夠隱式地正則化模型。這些方法主要關注輸入數據與權重的交互方式，并將其呈現給權重進行持續更新。在這方面，我們期望在輸入數據和權重之間的這種交互機制方面有更多創新性的研究進展。例如，可以對權重更新中每個輸入數據點的相對貢獻進行插值以生成額外的偽更新，這對應于生成更多的訓練樣本。

不加樣本就能做數據增強？還能提效？

總結

以上是生活随笔為你收集整理的不加样本就能做数据增强？还能提效？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。