1 autoencoder 介紹

????????這是一個無監(jiān)督學(xué)習(xí)問題，旨在從原始數(shù)據(jù)x中學(xué)習(xí)一個低維的特征向量（沒有任何標(biāo)簽）

????????encoder 最早是用線性函數(shù)+非線性單元構(gòu)成（比如Linear+nonlinearity），之后的模型有使用多層全連接、Relu+CNN進(jìn)行encoder操作的 。

? ? ? ? 那么，我們怎么從原始數(shù)據(jù)中學(xué)習(xí)特征向量z呢？

? ? ? ? 核心思路就是使用一個decoder

?

?這里的tconv就是機(jī)器學(xué)習(xí)筆記： Upsampling, U-Net, Pyramid Scene Parsing Net_UQI-LIUWJ的博客-CSDN博客中所介紹的“up convolution”

在訓(xùn)練完畢之后，丟棄decoder，使用encoder來進(jìn)行后續(xù)的任務(wù)?

2 特征向量z的維度

z的維度需要比輸入x的維度小——>這樣才能壓縮數(shù)據(jù)

如果z的維度比輸入x的維度大或者等于輸入x的維度的話——>模型沒有學(xué)習(xí)新特征的“動力”——>直接將x復(fù)制到z，多出來的維度補(bǔ)0即可

3 auto-encoder變體

3.1 de-noising autoencoder

在輸入中假如噪聲，但是學(xué)習(xí)的特征希望能還原成沒有噪聲的版本

?——>可以更好地學(xué)習(xí)特征表示

——>避免直接復(fù)制——>所以每一個epoch加在輸入上的噪聲是不一樣的

3.2 stacked auto-encoder（SAE）

多層auto-encoder，訓(xùn)練完畢后也是去掉所有的decoder

?4 AE作為生成模型

4.1 context encoder

????????抹去圖像的某一塊，通過auto-encoder，看看能不能還原成整張圖片/判斷抹去的這一塊學(xué)到的特征和實際這一塊之間的區(qū)別

?

?4.1.1 不同的遮法

?4.2? temporal context encoder

????????對于圖像來說，我們的可以遮去一些像素點(diǎn)，然后通過auto-encoder的方式來學(xué)習(xí)這些遮掉的像素點(diǎn)。那么對于視頻來說，我們也可以遮去一些視頻中的“像素點(diǎn)”，也即遮掉某幾幀，然后同樣用auto-encoder來進(jìn)行學(xué)習(xí)

? ?5 auto-encoder應(yīng)用：半監(jiān)督學(xué)習(xí)

????????當(dāng)我們有很多的圖像，但是只有很少的label的時候，我們可以先對不適用標(biāo)簽，對圖像使用auto-encoder。訓(xùn)練完畢之后，我們丟棄decoder，然后再encoder后面接入分類器，學(xué)習(xí)標(biāo)簽y'，將其和真實特征y進(jìn)行比對? ? ??

????????

?

?

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：auto encoder的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。