自從ICML2017的Model-Agnostic Meta-Learning (MAML)以及NIPS17的Prototypical Networks (ProtoNet)等paper出現(xiàn)之后，一系列meta learning以及few-shot learning的paper如雨后春筍般涌現(xiàn)出來(lái)。同時(shí)，常用的幾個(gè)數(shù)據(jù)集Omniglot、miniImagenet、tieredImagenet的性能也被不斷刷新。

結(jié)合最近無(wú)監(jiān)督學(xué)習(xí)的潮流，元學(xué)習(xí)相關(guān)方法和無(wú)監(jiān)督學(xué)習(xí)的結(jié)合，成為了最近一個(gè)新的方向。本文主要介紹基于MAML的無(wú)監(jiān)督元學(xué)習(xí)相關(guān)工作。

有監(jiān)督和無(wú)監(jiān)督元學(xué)習(xí)的對(duì)比，如圖1。區(qū)別主要在Meta-train階段，有監(jiān)督元學(xué)習(xí)可以利用標(biāo)簽信息進(jìn)行訓(xùn)練，而無(wú)監(jiān)督元學(xué)習(xí)只能利用無(wú)標(biāo)注的原始數(shù)據(jù)。無(wú)監(jiān)督的常見方法，比如self-supervised learning，clustering，generative model等等都有可能應(yīng)用到無(wú)監(jiān)督元學(xué)習(xí)中。

圖1. 有監(jiān)督和無(wú)監(jiān)督元學(xué)習(xí)比較。在Meta-train階段，無(wú)監(jiān)督元學(xué)習(xí)只能利用無(wú)標(biāo)注的數(shù)據(jù)進(jìn)行學(xué)習(xí)，而有監(jiān)督元學(xué)習(xí)可以利用標(biāo)簽信息進(jìn)行訓(xùn)練。Meta-test階段，有監(jiān)督和無(wú)監(jiān)督的設(shè)置相同。

CACTUs (Unsupervised learning via meta-learning)

圖2. CACTUs方法框架圖。首先，預(yù)訓(xùn)練得到特征表示(1)，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行無(wú)監(jiān)督聚類，得到若干組偽標(biāo)簽數(shù)據(jù)(2a)。然后根據(jù)偽標(biāo)簽隨機(jī)采樣多個(gè)任務(wù)(tasks)(2b)，運(yùn)行正常的元學(xué)習(xí)算法(3)，例如MAML或者ProtoNet。

這篇論文是MAML的作者Chelsea Finn等人發(fā)表在ICLR19的paper，主要提出了unsupervised meta-learning的設(shè)置以及一種簡(jiǎn)單的基于聚類的方法。雖然方法簡(jiǎn)單，但是也為后續(xù)基于無(wú)監(jiān)督的元學(xué)習(xí)方法開辟了一個(gè)方向。

整個(gè)方法可以分成三個(gè)步驟（圖2）：

使用現(xiàn)有無(wú)監(jiān)督特征學(xué)習(xí)方法，在無(wú)標(biāo)簽訓(xùn)練集合得到特征表示（embedding function）

使用聚類方法（例如，k-means）劃分出多個(gè)子集合 等。然后隨機(jī)采樣構(gòu)建偽標(biāo)簽的元學(xué)習(xí)任務(wù)

使用監(jiān)督元學(xué)習(xí)方法，如MAML、ProtoNet在步驟2構(gòu)建的元學(xué)習(xí)任務(wù)上進(jìn)行學(xué)習(xí)。需要指出的是這個(gè)步驟學(xué)習(xí)用到的網(wǎng)絡(luò)結(jié)構(gòu)是隨機(jī)初始化的，而不是從1步驟得到。這么做，是非常必要的，因?yàn)槿绻垲惡驮獙W(xué)習(xí)都使用步驟1的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，很可能引起過(guò)擬合現(xiàn)象。

作者在Omniglot、Mnist、MiniImagenet以及CelebA上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了clustering+meta learning的有效性。另外，如圖3，通過(guò)無(wú)監(jiān)督元學(xué)習(xí)和有監(jiān)督元學(xué)習(xí)的對(duì)比，可以看出無(wú)監(jiān)督性能逐步接近有監(jiān)督性能。

圖3. 無(wú)監(jiān)督元學(xué)習(xí)和有監(jiān)督元學(xué)習(xí)性能對(duì)比

UMTRA (Unsupervised Meta-Learning for Few-Shot Image Classification)

圖4. UMTRA方法框架圖。首先，隨機(jī)選取N個(gè)樣本作為N個(gè)類別，然后將原圖片作為support set，augmentation之后的圖片作為query set。最后，使用有監(jiān)督的MAML算法進(jìn)行元學(xué)習(xí)參數(shù)更新。

CACTUs是一個(gè)多步驟的元學(xué)習(xí)算法，需要先單獨(dú)訓(xùn)練特征表示，然后用于聚類，最后訓(xùn)練新的網(wǎng)絡(luò)結(jié)構(gòu)。它的過(guò)程相對(duì)負(fù)責(zé)，而且沒(méi)有很好的靈活性。

受到一些自監(jiān)督（self-supervised）方法的啟發(fā)，UMTRA提出了一個(gè)end2end的元學(xué)習(xí)框架，如圖4。整個(gè)方法包含三個(gè)部分：

隨機(jī)采樣N個(gè)圖片，每個(gè)圖片單獨(dú)認(rèn)為是一個(gè)類別，就是N-way 1-shot 的任務(wù)

對(duì)每個(gè)圖片進(jìn)行數(shù)據(jù)增廣（Augmentation），增廣之后對(duì)數(shù)據(jù)作為元學(xué)習(xí)的query set，原圖作為support set。這樣，就有了N-way 1-shot的support+query數(shù)據(jù)以及N個(gè)label。

運(yùn)行MAML算法，進(jìn)行訓(xùn)練。

作者對(duì)方法的動(dòng)機(jī)進(jìn)行了解釋：假設(shè)訓(xùn)練集合共有

個(gè)類別，每個(gè)類別有 個(gè)樣本，我們每次隨機(jī)選取 個(gè)樣本。這 個(gè)樣本全部來(lái)自不同類別的概率是：

上述公式，分子是

個(gè)樣本全部來(lái)自不同類別的可能情況，分母是所有隨機(jī)組合的情況數(shù)目。對(duì)于Omniglot（ ）， ；對(duì)于MiniImagenet， ；對(duì)于Imagenet， 。所以，隨機(jī)選擇的樣本有很大概率來(lái)自不同類別，這樣選出來(lái)的樣本應(yīng)該比k-means聚類得到的偽標(biāo)簽更接近真實(shí)數(shù)據(jù)。

其他方法

AAL和UMTRA是同期工作，方法也很大程度重合，但是性能略低于UMTRA。

Centroid Networks提出了不同的Unsupervised meta-learning的設(shè)置，但是由于它是ICLR2020的拒稿paper，這里不做深入解讀。

本文涉及到的論文如下：

Kyle Hsu, Sergey Levine, and Chelsea Finn. Unsupervised learning via meta-learning. In International Conference on Learning Representations, 2019.

Khodadadeh, Siavash, Ladislau Boloni, and Mubarak Shah. "Unsupervised Meta-Learning for Few-Shot Image Classification."Advances in Neural Information Processing Systems. 2019.

A. Antoniou and A. Storkey. Assume, augment and learn: Unsupervised few-shot meta-learning via random labels and data augmentation. arXiv preprint arXiv:1902.09884, 2019.

Gabriel Huang, Hugo Larochelle, and Simon Lacoste-Julien. Are few-shot learning benchmarks too simple? 2020.

總結(jié)

以上是生活随笔為你收集整理的无监督和有监督的区别_无监督元学习(Unsupervised Meta-Learning)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。