平均池化-最大池化-全局池化
平均池化(avgpooling)可以保留背景信息。在feature map上以窗口的形式進(jìn)行滑動(dòng)(類似卷積的窗口滑動(dòng)),操作為取窗口內(nèi)的平均值作為結(jié)果,經(jīng)過(guò)操作后,
feature map降采樣,減少了過(guò)擬合現(xiàn)象。前向傳播就是把一個(gè)patch中的值求取平均來(lái)做pooling,那么反向傳播的過(guò)程也就是把某個(gè)元素的梯度等分為n份分配給前一層,
這樣就保證池化前后的梯度(殘差)之和保持不變。
最大池化(maxpooling)可以提取特征紋理。減少無(wú)用信息的影響。maxpooling也要滿足梯度之和不變的原則,max pooling的前向傳播是把patch中最大的值傳遞給后一層,
而其他像素的值直接被舍棄掉。那么反向傳播也就是把梯度直接傳給前一層某一個(gè)像素,而其他像素不接受梯度,也就是為0。所以max pooling操作和mean pooling操作不同點(diǎn)在于需要記錄下池化操作時(shí)到底哪個(gè)像素的值是最大,
也就是max id,這個(gè)變量就是記錄最大值所在位置的,因?yàn)樵诜聪騻鞑ブ幸玫健?/p>
全局池化(global pooling)來(lái)獲取全局上下文關(guān)系。不以窗口的形式取均值,而是以feature map為單位進(jìn)行均值化。即一個(gè)feature map輸出一個(gè)值。
總結(jié)
以上是生活随笔為你收集整理的平均池化-最大池化-全局池化的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: [转载]手把手用C++解密Chrome8
- 下一篇: DQL-查询语言的应用