上篇通過(guò)實(shí)例了解了過(guò)擬合，那如何處理將是本文處理的問(wèn)題

Dropout抑制過(guò)擬合

在每一次訓(xùn)練中，隨機(jī)丟棄一部分隱藏單元，從而加強(qiáng)另一部分單元的學(xué)習(xí)

原理

• 取平均的作用：先回到標(biāo)準(zhǔn)的模型沒(méi)有dropout，我們會(huì)用相同的訓(xùn)練數(shù)據(jù)去訓(xùn)練5個(gè)不同的神經(jīng)網(wǎng)絡(luò)，一般會(huì)得到5個(gè)不同的結(jié)果，此時(shí)我們可以采用“5個(gè)結(jié)果取均值”或者“對(duì)數(shù)取勝的投票策略”去決定最懂結(jié)果

• 減少神經(jīng)元之間的復(fù)雜的共適應(yīng)關(guān)系：因?yàn)閐ropout程序?qū)е旅鈷煦^神經(jīng)元不一定每次都在一個(gè)dropout網(wǎng)絡(luò)中出現(xiàn)。這樣全職的更新不在依賴于有固定關(guān)系的隱含節(jié)點(diǎn)的共同作用，阻止了某些特征僅僅在其他特征下才有效果的情況

怎么理解呢？

dropout類(lèi)似于性別在生物進(jìn)化中的角色

物種為了生存往往會(huì)傾向于適應(yīng)這種環(huán)境，環(huán)境的突變則會(huì)導(dǎo)致物種難以做出及時(shí)反應(yīng)，而性別的出現(xiàn)可以繁衍出適應(yīng)新環(huán)境的變種，有效的阻止過(guò)擬合，即避免環(huán)境改變時(shí)物種可能面臨的滅絕

代碼實(shí)現(xiàn)

只要在添加dropout層即可

還是上文的數(shù)據(jù)

model = keras.Sequential() model.add(lay 與50位技術(shù)專(zhuān)家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的keras从入门到放弃(九） 处理过拟合的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。