Meta-learning就是教會它怎么學(xué)！

大家以為AI都是很牛，但其實就是在調(diào)參，在工業(yè)界怎么樣子調(diào)參呢？ 使用1000GPUs，而學(xué)業(yè)界只有一張！ 我們知道Machine learning可以學(xué)出來，那么hyperparameters是不是能學(xué)出來呢？

我們回顧一下Machine Learing！其實就是三個步驟：

這里，我們定義了函數(shù)f($\theta$)，我們需要找到那個使得L($\theta$)最小的${\theta }^{?}$! 同時使用$f_{{\theta }^{?}}$成為最終的模型訓(xùn)練！

What is Meta Learning？

我們原來都是設(shè)置模型，并且調(diào)參從而得到我們最后的函數(shù)！
那么我們是不是能讓機器來學(xué)習(xí)這個模型，學(xué)習(xí)合適的參數(shù)呢？

Meta-learning - Step 1

在學(xué)習(xí)算法中什么是可以學(xué)習(xí)的？

Meta learning – Step 2

Define loss function for learning algorithm $F_{?}$

怎么定義$L(?)$?

我們會分為multi tasks，同一個F不同的任務(wù)，最終取所有損失之和！ 這里需要注意，我們是在測試階段進行損失的計算的！ 這是和一般的機器學(xué)習(xí)很大的不同之處！

Meta learning – Step 3

不管使用什么方法，我們也是找到最合適的$\theta$

把問題想象成Training tasks 和 Testing tasks！
Few-shot是目標(biāo)，Meta是手段！

MeatLearning vs ML

Goal

Training Data

在Meta Learning里面，我們只有Training tasks的劃分，每個訓(xùn)練任務(wù)中我們有Train和Test集！ 但是這聽起來有點繞口，所以就Train set稱為了Support set， 而Test set稱為Query set！

Task

在ML中只有一個任務(wù)，一個任務(wù)中訓(xùn)練集和測試集！
但是在Meta Learning中，卻是Training Tasks，多個Task，取各個任務(wù)的loss，并求和！

這里我們可以量一個Testing Task稱為一個episode！

Loss

每個任務(wù)都需要計算損失，這個計算量是很大的！
這里我們將Across-task Learning叫做Outer Loop；
而Within-task則稱為Inner Loop！

Same

Meta-Learning也是需要有超參數(shù)的，但是這里的超參數(shù)理想情況下是一勞永逸，可以用在任何形式上！

Devlopment task： 是用來當(dāng)工具的，比如學(xué)習(xí)率我們不知道是不是可行，那么就需要用在Development task來操作的！

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的李宏毅机器学习（十一）meta-learning和ML一样是三个步骤的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。