Tackling Data Heterogeneity in Federated Learning with Class Prototypes

作者舉了個栗子

分割線————————————————————————————————————————

當采用不平衡的訓練數據集進行訓練后，得到的Prototypes(虛線) 和 Representations(圓點)就很差。不同類樣本的特征都重疊了，也就不容易進行分類。當采用uniform head（是固定分類頭嗎？）后，該問題得以解決。因此作者說我們要發放一致且固定（uniform and fixed）的Prototypes（咋弄的哩？）來協助不平衡的數據集進行訓練。

作者提出方法

首先作者提了兩個問題：

怎么搞出來高質量（彼此分得很開）的Prototypes？
通過一種方法初始化分類器頭，看不明白。

進行本地訓練時，固定分類器，只更新特征提取器部分。作者說這樣可以訓練更魯棒的表征。

看不懂。。。。。。
之后像服務器上傳模型參數和自己的Prototypes

怎么注入類之間的語義信息（比如狼和狗有點像，狼和汽車一點也不像）？
服務器收集到Client的原型后，對原型就行混合

大概意思就是這么回事吧，我是個廢物，看不懂。作者公布了代碼，看不明白。嚶嚶嚶。

雜談

我感覺這篇文章的核心思想就是通過自己的那套方法，增強不平衡訓練數據下訓練出來的表征。與上一篇的球聯邦學習動機相似，都是更好的把不平衡的訓練樣本的表征更好的區分開來。
頭疼，咱也不知道咋去分析這種問題。

總結

以上是生活随笔為你收集整理的Tackling Data Heterogeneity in Federated Learning with Class Prototypes, AAAI 2023的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。