領(lǐng)域自適應(yīng)是遷移學(xué)習(xí)中轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)的重要子問(wèn)題。

遷移學(xué)習(xí)是指兩個(gè)不同領(lǐng)域的知識(shí)遷移過(guò)程，利用源領(lǐng)域中學(xué)到的知識(shí)幫助目標(biāo)領(lǐng)域上的學(xué)習(xí)任務(wù)。源領(lǐng)域的訓(xùn)練樣本數(shù)量一般遠(yuǎn)大于目標(biāo)領(lǐng)域。

遷移學(xué)習(xí)根據(jù)不同的遷移方式，分為兩個(gè)類型，歸納遷移學(xué)習(xí)和轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)。

---

歸納學(xué)習(xí)（Inductive Learniing）是希望在訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)到使得期望風(fēng)險(xiǎn)（即真實(shí)數(shù)據(jù)分布上的錯(cuò)誤率）最小的模型。與傳統(tǒng)監(jiān)督機(jī)器學(xué)習(xí)一樣，是基于已有標(biāo)記的訓(xùn)練數(shù)據(jù)集構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型，然后使用這個(gè)訓(xùn)練過(guò)的模型預(yù)測(cè)我們測(cè)試集的標(biāo)簽。

轉(zhuǎn)導(dǎo)學(xué)習(xí)(Transductive Learning)是希望學(xué)習(xí)一種在給定測(cè)試集上錯(cuò)誤率最小的模型，在訓(xùn)練階段可以利用測(cè)試集的信息。轉(zhuǎn)導(dǎo)學(xué)習(xí)是事先觀察所有數(shù)據(jù)，包括訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。從已經(jīng)觀察到訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)，然后預(yù)測(cè)測(cè)試數(shù)據(jù)集的標(biāo)簽。即使不知道測(cè)試數(shù)據(jù)集的標(biāo)簽，也可在學(xué)習(xí)過(guò)程中利用這些數(shù)據(jù)中的模式和其他信息。

主要區(qū)別：轉(zhuǎn)導(dǎo)學(xué)習(xí)中，在訓(xùn)練模型中已經(jīng)遇到訓(xùn)練集和測(cè)試集。歸納學(xué)習(xí)在訓(xùn)練模型中僅遇到訓(xùn)練數(shù)據(jù)集，并將學(xué)習(xí)到的模型應(yīng)用于從未見(jiàn)過(guò)的數(shù)據(jù)集上。

轉(zhuǎn)導(dǎo)不能建立預(yù)測(cè)模型，如果添加一個(gè)新的數(shù)據(jù)點(diǎn)到測(cè)試數(shù)據(jù)集上，不得不從頭重新運(yùn)行算法，訓(xùn)練模型，使用它預(yù)測(cè)標(biāo)簽。

歸納學(xué)習(xí)建立預(yù)測(cè)模型，當(dāng)遇到新的數(shù)據(jù)點(diǎn)時(shí)，不需要從頭重新運(yùn)行算法。

總結(jié)來(lái)說(shuō)，歸納學(xué)習(xí)試圖建立一個(gè)通用模型，在這個(gè)模型中，任何新的數(shù)據(jù)點(diǎn)都將基于一組觀察到的訓(xùn)練數(shù)據(jù)點(diǎn)進(jìn)行預(yù)測(cè)，可以預(yù)測(cè)點(diǎn)空間中除未標(biāo)記點(diǎn)之外的任何點(diǎn)。相反，轉(zhuǎn)導(dǎo)學(xué)習(xí)是建立一個(gè)適合它觀察到的訓(xùn)練數(shù)據(jù)點(diǎn)和測(cè)試數(shù)據(jù)點(diǎn)的模型，這種方法利用已知標(biāo)記點(diǎn)和附加信息來(lái)預(yù)測(cè)未標(biāo)記點(diǎn)的標(biāo)記。

---

歸納遷移學(xué)習(xí)是指在源領(lǐng)域和任務(wù)上學(xué)習(xí)出一般規(guī)律，然后將這個(gè)規(guī)律遷移到目標(biāo)領(lǐng)域和任務(wù)上，轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)是從樣本到樣本的遷移，直接利用原領(lǐng)域和目標(biāo)領(lǐng)域的樣本進(jìn)行遷移學(xué)習(xí)。

轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)直接利用源領(lǐng)域和目標(biāo)領(lǐng)域的樣本進(jìn)行遷移學(xué)習(xí)，通常假設(shè)源領(lǐng)域有大量標(biāo)注數(shù)據(jù)，而目標(biāo)領(lǐng)域沒(méi)有或只有少量的標(biāo)注數(shù)據(jù)，但有大量的無(wú)標(biāo)注數(shù)據(jù)。

轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)的一個(gè)常見(jiàn)子問(wèn)題是領(lǐng)域適應(yīng)domain adaptation。在領(lǐng)域適應(yīng)問(wèn)題中，一般假設(shè)源領(lǐng)域和目標(biāo)領(lǐng)域有相同樣本空間，但數(shù)據(jù)分布不同。

領(lǐng)域自適應(yīng)的目標(biāo)是把分布不同的源領(lǐng)域和目標(biāo)域的數(shù)據(jù)，映射到一個(gè)特征空間中，使其在該空間中的距離盡可能近，由于在特征空間中對(duì)源領(lǐng)域訓(xùn)練的目標(biāo)函數(shù)，就可遷移到目標(biāo)域上，提高目標(biāo)域上的準(zhǔn)確率。

在遷移學(xué)習(xí)中使用對(duì)抗。

總結(jié)

以上是生活随笔為你收集整理的domain adaptation 领域自适应的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。