[caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大loss
本節(jié)說(shuō)caffe中常見loss的推導(dǎo)，具體包含下面的cpp。
multinomial_logistic_loss_layer.cpp
01
multinomial_logistic_loss_layer.cpp
數(shù)學(xué)定義
x是輸入，y是label，l是loss
上述式只有當(dāng)樣本i屬于第k類時(shí)，y?k=1，其他情況?y?k=0，我們計(jì)不為0的?y?k=y。
forward & backward
forward對(duì)所有求和，注意此處沒(méi)有對(duì)圖像維度的像素進(jìn)行歸一化，只對(duì)batch size維度進(jìn)行歸一化，num就是batch size，這與下面的softmaxlosslayer是不一樣的。
void MultinomialLogisticLossLayer<Dtype>::Forward_cpu(
backward可以自己去看，很簡(jiǎn)單就不說(shuō)了
02
softmax_layer.cpp
數(shù)學(xué)定義
softmax是我們最熟悉的了，分類任務(wù)中使用它，分割任務(wù)中依然使用它。Softmax loss實(shí)際上是由softmax和cross-entropy loss組合而成，兩者放一起數(shù)值計(jì)算更加穩(wěn)定。
令z是softmax_with_loss層的輸入，f(z)是softmax的輸出，則
單個(gè)像素i的softmax loss等于cross-entropy error如下
展開上式：
在網(wǎng)絡(luò)中，z是即bottom blob，l(y,z)是top blob,反向傳播時(shí)就是要根據(jù)top blob diff得到bottom blob diff，所以要得到?
下面求loss對(duì)z的第k個(gè)節(jié)點(diǎn)的梯度
可見，傳給groundtruth label節(jié)點(diǎn)和非groundtruth label是的梯度是不一樣的。
forward就不看了，看看backward吧。
Dtype* bottom_diff = bottom[0]->mutable_cpu_diff();
Test_softmax_with_loss_layer.cpp
作為loss層，很有必要測(cè)試一下，測(cè)試也分兩塊，forward和backward。
Forward測(cè)試是這樣的，定義了個(gè)bottom blob data和bottom blob label，給data塞入高斯分布數(shù)據(jù)，給label塞入0～4。
blob_bottom_data_(new
然后分別ingore其中的一個(gè)label做5次，最后比較，代碼如下。
Dtype accum_loss = 0;
至于backwards，直接套用checker.CheckGradientExhaustive就行，它自己會(huì)利用數(shù)值微分的方法和你寫的backwards來(lái)比較精度。
TYPED_TEST(SoftmaxWithLossLayerTest,
03
?eulidean_loss_layer.cpp
euclidean loss就是定位檢測(cè)任務(wù)中常用的loss。
數(shù)學(xué)定義：
forward & backward
void EuclideanLossLayer<Dtype>::Backward_cpu(const
testcpp就不說(shuō)了。
04
sigmoid_cross_entropy_loss_layer.cpp
與softmax loss的應(yīng)用場(chǎng)景不同，這個(gè)loss不是用來(lái)分類的，而是用于預(yù)測(cè)概率，所以在loss中，沒(méi)有類別的累加項(xiàng)。
令第i個(gè)節(jié)點(diǎn)輸入Xi ，輸出總loss為l，label為 yi ，則loss定義如下
其中
上式子有個(gè)等價(jià)轉(zhuǎn)換，這是為了更好的理解caffe 中forward的計(jì)算，公式太多我就直接借用了，如果遇到了原作者請(qǐng)通知我添加轉(zhuǎn)載申明。
http://blog.csdn.net/u012235274/article/details/51361290
反向求導(dǎo)公式如下：
在經(jīng)過(guò)上面的轉(zhuǎn)換后，避開了數(shù)值計(jì)算不穩(wěn)定的情況，caffe中的源碼是對(duì)整個(gè)的bottom[0]->count進(jìn)行計(jì)算累加的，沒(méi)有區(qū)分label項(xiàng)。
for (int i = 0; i < bottom[0]->count(); ++i) {
反向傳播很簡(jiǎn)單就不看了
05
contrastive_loss_layer.cpp
有一類網(wǎng)絡(luò)叫siamese network，它的輸入是成對(duì)的。比如輸入兩張大小相同的圖，網(wǎng)絡(luò)輸出計(jì)算其是否匹配。所采用的損失函數(shù)就是contrastive loss
數(shù)學(xué)定義：
d就是歐氏距離，y是標(biāo)簽，如果兩個(gè)樣本匹配，則為1，否則為0. 當(dāng)y=1，loss就是歐氏距離，說(shuō)明匹配的樣本距離越大，loss越大。當(dāng)y=0，就是與閾值margin的歐式距離，說(shuō)明不匹配的樣本，歐氏距離應(yīng)該越大越好，超過(guò)閾值最好，loss就等于0.
反向傳播其實(shí)就是分y=1和y=0兩種情況下的euclidean loss的反向傳導(dǎo)，由于與euclidean
06
hinge_loss_layer.cpp
這是一個(gè)多分類的loss, 也是SVM的目標(biāo)函數(shù)，沒(méi)有學(xué)習(xí)參數(shù)的全連接層InnerProductLayer+HingeLossLayer就等價(jià)于SVM。
數(shù)學(xué)定義:
這個(gè)層的輸入bottom[0]是一個(gè)N*C*H*W的blob，其中取值任意值，label就是N*1*1*1，其中存儲(chǔ)的就是整型的label{0,1,2,…,k}。tnk ?相當(dāng)于SVM中的?
參考博客http://blog.leanote.com/post/braveapple/Hinge-Loss-%E7%9A%84%E7%90%86%E8%A7%A3
假如預(yù)測(cè)類別數(shù)是K個(gè)，正確的label是M，預(yù)測(cè)值為tnk，即是第n個(gè)樣本對(duì)第k類的預(yù)測(cè)值，那么當(dāng)k=M時(shí)。
當(dāng)k!=M時(shí)，
其中p=1，p=2分別對(duì)應(yīng)L1范數(shù)和L2范數(shù)，以L1為例
Forward
caffe_copy(count, bottom_data, bottom_diff);
只需要根據(jù)上面的轉(zhuǎn)化后的式子，在正確label處乘以-1，然后累加即可。
再看反向梯度求導(dǎo)：
當(dāng)進(jìn)行一次forward之后，
bottom_diff=[max(0,1+t0),max(0,1+t1),...,max(0,1?tk),...,max(0,1?tK-1)]
我們現(xiàn)在要求梯度，期望是1+tk>0時(shí)為1，1-tk>0時(shí)為-1，其他情況為0，
當(dāng)任意一項(xiàng)1+tk或者1-tk<0時(shí)，會(huì)有梯度=0。實(shí)際上就是求上面向量各自元素的符號(hào)，當(dāng)1+tk>0，sign(1+tk)，只是max(0,1?tk)這個(gè)應(yīng)該反過(guò)來(lái)，當(dāng)1-tk>0時(shí)，sign(tk-1)=-1。
代碼如下：
Dtype* bottom_diff = bottom[0]->mutable_cpu_diff();
}
07
infogain_loss_layer.cpp
數(shù)學(xué)定義：
輸入bottom_data是N*C*H*W維向量，bottom_label是N*1*1*1維向量，存儲(chǔ)的就是類別數(shù)。它還有個(gè)可選的bottom[2]，是一個(gè)infogain matrix矩陣,它的維度等于num_of_label * num_of_label。每個(gè)通道c預(yù)測(cè)的是第c類的概率，取值0～1，所有c個(gè)通道的概率相加=1。是不是像soft Max？
實(shí)際上它內(nèi)部就定義了shared_ptr<Layer<Dtype> > softmax_layer_，用于映射輸入。
Loss定義如下：
其中?代表H的第ln行，K是所有類別數(shù)，如果H是一個(gè)單位矩陣，那么只有對(duì)角線有值，回到文章開頭，這就是multinomial_logistic_loss_layer。當(dāng)H是一個(gè)普通矩陣時(shí)，當(dāng)groundtruth label為k，?
?時(shí)，值也可以非零。這樣各個(gè)類別之間就不存在競(jìng)爭(zhēng)關(guān)系了，后來(lái)的mask-rcnn中實(shí)際上loss也就是去除了這重競(jìng)爭(zhēng)關(guān)系。
Forward：
void InfogainLossLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
上面與multinomial_logistic_loss_layer的區(qū)別就在于每一項(xiàng)乘了infogain_mat[label_value *??num_labels_ + l]。
Backward:
for (int l = 0; l < num_labels_; ++l) {
這個(gè)，看了4篇了大家不妨自己推一推？不行咱再一起來(lái)
同時(shí)，在我的知乎專欄也會(huì)開始同步更新這個(gè)模塊，歡迎來(lái)交流
https://zhuanlan.zhihu.com/c_151876233
注：部分圖片來(lái)自網(wǎng)絡(luò)
—END—
打一個(gè)小廣告，我的攝影中的圖像基礎(chǔ)技術(shù)公開課程《AI 程序員碼說(shuō)攝影圖像基礎(chǔ)》上線了，主要從一個(gè)圖像處理工程師的角度來(lái)說(shuō)說(shuō)攝影中的基礎(chǔ)技術(shù)和概念，歡迎大家訂閱交流。
加入我們做點(diǎn)趣事
往期精彩
?
[caffe解讀] caffe從數(shù)學(xué)公式到代碼實(shí)現(xiàn)1-導(dǎo)論。
為了壓榨CNN模型，這幾年大家都干了什么。
[caffe解讀] caffe從數(shù)學(xué)公式到代碼實(shí)現(xiàn)2-基礎(chǔ)函數(shù)類
總結(jié)
以上是生活随笔為你收集整理的[caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大loss的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： [caffe解读] caffe从数学公式
- 下一篇： [caffe解读] caffe从数学公式