深度学习（2）基础2 -- 分类：得分函数损失函数(损失、正则化惩罚项、梯度下降、学习率)概率
目錄
一、得分函數(shù)?
1、10分類(lèi)
2、5分類(lèi)
二、損失函數(shù)
0、引言
1、損失函數(shù)（數(shù)據(jù)損失）
2、損失函數(shù)應(yīng)用
3、損失函數(shù)（數(shù)據(jù)損失與正則化懲罰項(xiàng)）
?1、數(shù)據(jù)損失
2、正則化懲罰項(xiàng)?
三、概率?
1、過(guò)程
2、得分 -> 概率
一、得分函數(shù)?
1、10分類(lèi)
W：權(quán)重參數(shù)，類(lèi)別個(gè)數(shù)（決定性參數(shù)）
b：偏置，微調(diào)參數(shù)（非決定性參數(shù)）
x：像素點(diǎn)個(gè)數(shù)。
3072：3072:32*32*3 = 3072（3072個(gè)像素點(diǎn)）
10：10個(gè)類(lèi)別
每個(gè)類(lèi)別都有其各自的權(quán)重。（如w1類(lèi)別可以是貓，w2類(lèi)別可以是狗）
2、5分類(lèi)
二、損失函數(shù)
0、引言
值越大：該像素點(diǎn)越重要。
0：該像素點(diǎn)不太重要。
正值：促進(jìn)。
負(fù)值：抑制。
?但是該圖卻把貓錯(cuò)誤判斷成了狗，問(wèn)題在哪里呢？
首先不會(huì)是數(shù)據(jù)的問(wèn)題，因?yàn)閿?shù)據(jù)是一個(gè)不變的量。需要改變的是W（權(quán)重），需要選擇一個(gè)合適的權(quán)重，所以需要改變這個(gè)W權(quán)重。
1、損失函數(shù)（數(shù)據(jù)損失）
損失函數(shù)：判斷得到的得分是否準(zhǔn)確。
sj：當(dāng)前圖像得分
syi：正確圖像得分
取0和(sj - syi + 1)的最大值：如果sj接近或者大于syi，則會(huì)產(chǎn)生損失，損失函數(shù)就不為0。
2、損失函數(shù)應(yīng)用
?
第一張圖識(shí)別錯(cuò)誤，做的很糟糕，產(chǎn)生一定的損失：
第二張圖識(shí)別的效果很好，得分比其他類(lèi)別都高1，沒(méi)有損失：?
第三張圖居然得到的正確圖像是一個(gè)負(fù)分，效果相當(dāng)差，損失很大：?
?
3、損失函數(shù)（數(shù)據(jù)損失與正則化懲罰項(xiàng)）
?1、數(shù)據(jù)損失
?數(shù)據(jù)損失：
2、正則化懲罰項(xiàng)?
正則化懲罰項(xiàng)：降低無(wú)關(guān)變量權(quán)重。
正則化：保留所有的特征變量，但是會(huì)減小特征變量的數(shù)量級(jí)（越無(wú)關(guān)的變量，減小越多），可以有效地防止過(guò)擬合的情況。
正則化懲罰項(xiàng)和數(shù)據(jù)關(guān)系不大，只考慮權(quán)重參數(shù)。（正則化懲罰項(xiàng)可以只用平方項(xiàng)來(lái)做）
(w1^2+W2^2?+ ... + wn^2)。
值越大：代表不希望過(guò)擬合，把正則化乘法放大。
我們希望模型不要太復(fù)雜，過(guò)擬合的模型是沒(méi)用的。
神經(jīng)網(wǎng)絡(luò)由于過(guò)于強(qiáng)大，我們?cè)谘芯可窠?jīng)網(wǎng)絡(luò)的過(guò)程中，不會(huì)單純的希望神經(jīng)網(wǎng)絡(luò)太強(qiáng)，這樣泛化能力較差，我們希望神經(jīng)網(wǎng)絡(luò)能再弱一點(diǎn)，這樣會(huì)有比較強(qiáng)的泛化能力。
3、梯度下降
梯度下降實(shí)質(zhì)就是降低損失的過(guò)程，是目前最流行的優(yōu)化方法。?
?
4、學(xué)習(xí)率
?
??
?學(xué)習(xí)率不可以過(guò)高，學(xué)習(xí)率過(guò)高可能會(huì)跳過(guò)最佳的情況。? 所以通常需要學(xué)習(xí)率低一點(diǎn)（0.001~0.0001即可）。
如上圖：梯度 = 學(xué)習(xí)率 * 更新梯度。?
三、概率?
1、過(guò)程
1、先得到得分
2、把得分的差異放大（e^x）
3、歸一化，得到概率
4、計(jì)算損失值
回歸：由得分計(jì)算損失
分類(lèi)：由概率計(jì)算損失
2、得分 -> 概率
Softmax( )：歸一化的分類(lèi)概率。
?（它的取值范圍在0~1，相當(dāng)于概率值）
總結(jié)
以上是生活随笔為你收集整理的深度学习（2）基础2 -- 分类：得分函数损失函数(损失、正则化惩罚项、梯度下降、学习率)概率的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 深度学习（1）基础1 -- 深度学习与神
- 下一篇： 深度学习（3）基础3 -- 前向传播与反