當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

国科大高级人工智能+prml4-CNN

發(fā)布時(shí)間：2024/7/5 编程问答 37 豆豆

生活随笔收集整理的這篇文章主要介紹了国科大高级人工智能+prml4-CNN 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

文章目錄

CNN
- 卷積
- padding
- pooling
- BP
- 其他CNN
- ResNets殘差網(wǎng)絡(luò)——
- 圖像數(shù)據(jù)應(yīng)用

CNN

Hebb學(xué)習(xí)律（無(wú)監(jiān)督
- 如果兩個(gè)神經(jīng)元在同一時(shí)刻被激發(fā)，則他們之間的聯(lián)系應(yīng)該被強(qiáng)化
- 對(duì)神經(jīng)元的重復(fù)刺激，使得神經(jīng)元之間的突觸強(qiáng)度增加
Delta學(xué)習(xí)律（有監(jiān)督
彌補(bǔ)之前的DNN的缺陷
- 圖大，DNN的參數(shù)太多
基本思想—>得到了某種程度的位移、尺度、形變不變性
- 局部感知野：局部連接（稀疏連接）-（減少參數(shù)數(shù)量）
  - 非全連接
  - 圖：近的關(guān)聯(lián)性強(qiáng)，遠(yuǎn)的弱
  - 減少了權(quán)值數(shù)目
- 參數(shù)共享（減少參數(shù)數(shù)量）
  - 一個(gè)卷積核用在圖的任何地方
  - 一個(gè)卷積核可以檢測(cè)同一種特征
  - 利用了平移不變性
- 不是逐層訓(xùn)練的
優(yōu)點(diǎn)
- 到了某種程度的位移、尺度、形變不變性
- 層間聯(lián)系和空域信息的緊密的關(guān)系，使其適于圖像處理和理解
- 避免了顯示特征抽取，隱式抽取
  - 特征抽取和模式分類(lèi)同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生
  - 減小參數(shù)，使得網(wǎng)絡(luò)更簡(jiǎn)單，適應(yīng)性更強(qiáng)
如何計(jì)算以解決語(yǔ)義鴻溝？
- 特異性（局部性、方向和尺度選擇性
- 不變形（對(duì)小的位置、方向、尺度變化有容忍
- 層級(jí)性：從簡(jiǎn)單模式到復(fù)雜模式
- 非線性：從輸入x-y是復(fù)雜的非線性映射
CNN
- 多層（層級(jí)性
- 卷積：特異性
- pooling:不變性
  - 旋轉(zhuǎn)不變性
  - 平移不變性
- 激活函數(shù)：非線性
- 功能:
  - 不同卷積核檢測(cè)不同特征

卷積

卷積計(jì)算（局部鏈接
- 一維
  - 核m=[1,1,1]
  - 數(shù)據(jù)：x=[1,2,3,4,5,6]
  - 步長(zhǎng)1
  - 結(jié)果c=[1·1+1·2+1·3，2·1+3·1+4·1，。。。,4·1+5·1+6·1]
- 二維
  - 計(jì)算：m（是m1*m2的）與x對(duì)應(yīng)相乘后相加
- 三維
  - 步長(zhǎng)1，數(shù)據(jù)(a1,a2,a3),卷積核（f,f,f)
  - 結(jié)果大小（a1-f+1,a2-f+1,a3-f+1）
- 一個(gè)卷積核對(duì)一張圖能夠生成1張圖
- 可以多卷積核，生成多張圖（可看做圖的不同通道）
- 特別的卷積核——能檢測(cè)到的輸出高
  - 垂直邊緣檢測(cè)的卷積核
    $[10?110?110?1]\left[ \begin{matrix} 1 &0 &-1\\1 &0 &-1\\1 &0 &-1\end{matrix} \right]$
  - 也有可識(shí)別特定曲線的卷積核（對(duì)特定圖像輸出高，其他低

padding

padding
- 卷積會(huì)讓圖變小
- 邊緣只計(jì)算了一次（會(huì)丟失邊緣信息）
- 目的：使得卷積不讓圖變小
- 做法：邊緣補(bǔ)0
  - padding=p
  - 上、下、左、右各補(bǔ)p行/列
  - 結(jié)果(n+2p,n+2p)
- 尺寸計(jì)算
  - 圖：(n,n)
  - filter（卷積核）：f*f
  - padding:p
  - stride步長(zhǎng)：s
  - 結(jié)果： $(n+2p?fs+1,n+2p?fs+1)(\frac{n+2p-f}{s}+1,\frac{n+2p-f}{s}+1)$
單層卷積網(wǎng)絡(luò)的參數(shù)
- g(conv(x)+b)
- l-層數(shù)
  - $f^l,p^l,s^l$
  - 輸入： $n_c^{l-1}個(gè)（n_H^{l-1},n_W^{l-1}）圖$
  - 輸出： $n_c^{l}個(gè)（n_H^{l},n_W^{l}）圖$
    - $ n_H^{l}=n_W{l}=\frac{n^{l-1}+2p{l}-f^{l}}{s{l}}+1$
  - 卷積核的數(shù)目 $n_c^{l-1}個(gè)(f^l，f^l)$
  - 權(quán)值：$n_c^{l-1}*(fl*f^l)*n_c{l} $
  - b： $n_c^{l}$

pooling

pooling：池化
- 子采樣（下采樣+降維）
  - max（多用這個(gè)，反向傳播殘差無(wú)約簡(jiǎn)
  - ave（反向傳播殘差會(huì)約簡(jiǎn)1
  - L2
- pooling(f,f)，則s=f——無(wú)重疊
- 池化層無(wú)padding，padding=0
- 池化后尺寸 $(n?fs+1,n?fs+1)(\frac{n-f}{s}+1,\frac{n-f}{s}+1)$ ,同卷積

計(jì)算移動(dòng)padding…尺寸改變…反向傳播

卷積	對(duì)應(yīng)相乘后相加	按步長(zhǎng)s移動(dòng)，可能重疊，也可能不重疊	padding=p,上下左右各補(bǔ)p	$(n+2p?fs+1,n+2p?fs+1)(\frac{n+2p-f}{s}+1,\frac{n+2p-f}{s}+1)$	卷積核上下左右翻轉(zhuǎn)后再卷積（反卷積
池化	max,ave,L2	不重疊的移動(dòng)，s=f	p=0,無(wú)padding	$(n?fs+1,n?fs+1)(\frac{n-f}{s}+1,\frac{n-f}{s}+1)$	ave:各項(xiàng)填充ave/f；max:一個(gè)max，其他0

BP

CNN結(jié)構(gòu)
- padding-conv（g(conv+b))-pooling
- 多層神經(jīng)網(wǎng)絡(luò)
  - 每層多個(gè)二維面
  - 每個(gè)面有多個(gè)獨(dú)立神經(jīng)元
訓(xùn)練
- 監(jiān)督
- 代價(jià)函數(shù)
  - 最小化平方誤差（MSE
  - 最小化相對(duì)熵（Relative entropy
- BP
  - 前向
  - 后向
    - 輸出層：鏈?zhǔn)椒▌t
    - 池化層：反池化(殘差上采樣
    - 卷積層：反卷積
      
      1個(gè)圖A–>2個(gè)核–>2個(gè)圖（C1,C2)
反卷積(相加）：
- C1–>核1–>A1
- C2–>核2–>A2
- A<–A1+A2

其他CNN

LeNet-5文字識(shí)別系統(tǒng)
- 輸出層全連接
- 無(wú)邊緣
- sigmoid—>梯度消失
- 平均池化—>信息約簡(jiǎn)
- 準(zhǔn)確度高
改進(jìn)CNN
- 用relu/tanh
  - 加速收斂，>0,為1，梯度不會(huì)消失（sigmoid會(huì)
  - 稀疏化（<0.為0）
- dropout
  - 隱藏層以一定概率清0
  - 可以將dropout看做是模型平均的一種
- 局部歸一化
- max池化（不會(huì)殘差約簡(jiǎn)）
ImageNet CNN
- max pooling
- relu
- dropout
- norm
- conv-relu-maxpool-norm
VGG CNN（16層
- conv 3*3,s=1
- max-pool 2*2,s=2
- same-padding:邊緣填充
googleNet—very deep
- 自動(dòng)學(xué)習(xí)超參數(shù)
- inception
- 把所有卷積核加入到網(wǎng)絡(luò)中，讓網(wǎng)絡(luò)自適應(yīng)地決定使用哪個(gè)卷積核
- 加一層1·1的conv，減少通道
- 1000層也可以訓(xùn)練

ResNets殘差網(wǎng)絡(luò)——

可以保證收斂性
- 因?yàn)橐话闵窠?jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)層數(shù)增加，會(huì)反而上升（錯(cuò)誤率）
- 殘差網(wǎng)絡(luò)不會(huì)，他至少不會(huì)變差
why work？
- 因?yàn)闅埐罹W(wǎng)絡(luò)容易學(xué)習(xí)恒等式函數(shù)，隨著網(wǎng)絡(luò)加深，至少不會(huì)讓網(wǎng)絡(luò)變差
- 對(duì)網(wǎng)絡(luò)權(quán)重的波動(dòng)變化更敏感

圖像數(shù)據(jù)應(yīng)用

圖像分類(lèi)
圖像檢測(cè)（多個(gè)目標(biāo)也檢測(cè)出來(lái)）
目標(biāo)定位
- 圖像-cnn
  - softmax 是否有
  - 如果有：在哪里（返回坐標(biāo)，長(zhǎng)寬）
- loss=平方損失函數(shù)MSE
特征點(diǎn)檢測(cè)
卷積的滑動(dòng)窗口實(shí)現(xiàn)
RCNN
- 先找到2000候選框（傳統(tǒng)圖像分割方法）
- 再分
- 更準(zhǔn)確
- fast RCNN
  - 整體卷積，將候選框映射到卷積結(jié)果上，在分類(lèi)
- faster rcnn
  - 用卷積找候選框
人臉識(shí)別
- 人臉驗(yàn)證：是否是某個(gè)人
- 人臉識(shí)別：是否是系統(tǒng)中的某個(gè)人
- 實(shí)際：系統(tǒng)中一個(gè)人只有一張照片，新來(lái)一張照片與所有系統(tǒng)中照片對(duì)比，看是否有相近的
- Siamese網(wǎng)絡(luò)
  - 不用softmax
  - 將每個(gè)人映射成一個(gè)向量
  - 判斷是否是一個(gè)人，只需要求向量差的范數(shù)即可
- 二分類(lèi)：
  - 向量（網(wǎng)絡(luò)得到）–一層邏輯回歸：連個(gè)向量是否一致
- triplet損失

總結(jié)

以上是生活随笔為你收集整理的国科大高级人工智能+prml4-CNN的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：程序异常退出后，托盘残留图标清理方法（C
下一篇：链队的介绍与实现