論文地址：https://arxiv.org/abs/1610.09650

主要思想

這篇文章就是用teacher-student模型，用一個teacher模型來訓練一個student模型，同時對teacher模型的輸出結果加以噪聲，然后來模擬多個teacher，這也是一種正則化的方法。

1. teacher輸出的結果加噪聲以后，然后和student的輸出結果計算L2 loss，作為student網絡的反饋。

2. 加噪聲

3. 計算L2 loss

4. 反向傳播，更新參數

5. 算法過程

• 注意：加噪聲的時候對輸入進行了采樣，不然直接全加也太暴力了吧。

等價于基于噪聲的回歸

實驗結果

1. 對比了不同噪聲比例對結果的影響，其實就是調參的過程。

2. 比較了學生加噪聲和教師加噪聲，結果是教師加噪聲效果更加明顯。

3. 比較了教師加噪聲和一般的正則化操作(dropout)

總結

本文想法比較簡單，就是給teacher輸出結果加噪聲，美曰其名，learn from multi teachers.

轉載于:https://www.cnblogs.com/zhonghuasong/p/7653619.html

總結

以上是生活随笔為你收集整理的论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。