前言

在訓(xùn)練YOLO v2的過(guò)程中，系統(tǒng)會(huì)顯示出一些評(píng)價(jià)訓(xùn)練效果的值，如Recall，IoU等等。為了怕以后忘了，現(xiàn)在把自己對(duì)這幾種度量方式的理解記錄一下。?
這一文章首先假設(shè)一個(gè)測(cè)試集，然后圍繞這一測(cè)試集來(lái)介紹這幾種度量方式的計(jì)算方法。

大雁與飛機(jī)

假設(shè)現(xiàn)在有這樣一個(gè)測(cè)試集，測(cè)試集中的圖片只由大雁和飛機(jī)兩種圖片組成，如下圖所示：?
?
假設(shè)你的分類(lèi)系統(tǒng)最終的目的是：能取出測(cè)試集中所有飛機(jī)的圖片，而不是大雁的圖片，那么在這個(gè)任務(wù)中，飛機(jī)就是正例，大雁就是反例。

現(xiàn)在做如下的定義：?
True positives : 飛機(jī)的圖片被正確的識(shí)別成了飛機(jī)。?
True negatives: 大雁的圖片沒(méi)有被識(shí)別出來(lái)，系統(tǒng)正確地認(rèn)為它們是大雁。?
False positives: 大雁的圖片被錯(cuò)誤地識(shí)別成了飛機(jī)。?
False negatives: 飛機(jī)的圖片沒(méi)有被識(shí)別出來(lái)，系統(tǒng)錯(cuò)誤地認(rèn)為它們是大雁。

假設(shè)你的分類(lèi)系統(tǒng)使用了上述假設(shè)識(shí)別出了四個(gè)結(jié)果，如下圖所示：?
上面的幾幅圖片被識(shí)別為大雁，下面的幾幅圖片識(shí)別為飛機(jī)：?

Precision 與 Recall

Precision其實(shí)就是在識(shí)別出來(lái)的圖片中，True positives所占的比率：?

precision=tptp+fp=tpnprecision=tptp+fp=tpn

其中的n代表的是(True positives + False positives)，也就是系統(tǒng)一共識(shí)別出來(lái)多少照片 。?
在這一例子中，True positives為3，False positives為1，所以Precision值是 3/（3+1）=0.75。?
意味著在識(shí)別出的結(jié)果中，飛機(jī)的圖片占75%。

?

Recall 是被正確識(shí)別出來(lái)的飛機(jī)個(gè)數(shù)與測(cè)試集中所有飛機(jī)的個(gè)數(shù)的比值：?

recall=tptp+fnrecall=tptp+fn

Recall的分母是(True positives + False negatives)，這兩個(gè)值的和，可以理解為一共有多少?gòu)堬w機(jī)的照片。?
在這一例子中，True positives為3，False negatives為2，那么Recall值是 3/（3+2）=0.6。?
意味著在所有的飛機(jī)圖片中，60%的飛機(jī)被正確的識(shí)別成飛機(jī)。

?

調(diào)整閾值

你也可以通過(guò)調(diào)整閾值，來(lái)選擇讓系統(tǒng)識(shí)別出多少圖片，進(jìn)而改變Precision 或 Recall 的值。?
在某種閾值的前提下（藍(lán)色虛線(xiàn)），系統(tǒng)識(shí)別出了四張圖片，如下圖中所示：?
?
分類(lèi)系統(tǒng)認(rèn)為大于閾值（藍(lán)色虛線(xiàn)之上）的四個(gè)圖片更像飛機(jī)。

我們可以通過(guò)改變閾值（也可以看作上下移動(dòng)藍(lán)色的虛線(xiàn)），來(lái)選擇讓系統(tǒng)識(shí)別能出多少個(gè)圖片，當(dāng)然閾值的變化會(huì)導(dǎo)致Precision與Recall值發(fā)生變化。比如，把藍(lán)色虛線(xiàn)放到第一張圖片下面，也就是說(shuō)讓系統(tǒng)只識(shí)別出最上面的那張飛機(jī)圖片，那么Precision的值就是100%，而Recall的值則是20%。如果把藍(lán)色虛線(xiàn)放到第二張圖片下面，也就是說(shuō)讓系統(tǒng)只識(shí)別出最上面的前兩張圖片，那么Precision的值還是100%，而Recall的值則增長(zhǎng)到是40%。

下圖為不同閾值條件下，Precision與Recall的變化情況：?

Precision-recall 曲線(xiàn)

如果你想評(píng)估一個(gè)分類(lèi)器的性能，一個(gè)比較好的方法就是：觀察當(dāng)閾值變化時(shí)，Precision與Recall值的變化情況。如果一個(gè)分類(lèi)器的性能比較好，那么它應(yīng)該有如下的表現(xiàn)：被識(shí)別出的圖片中飛機(jī)所占的比重比較大，并且在識(shí)別出大雁之前，盡可能多地正確識(shí)別出飛機(jī)，也就是讓Recall值增長(zhǎng)的同時(shí)保持Precision的值在一個(gè)很高的水平。而性能比較差的分類(lèi)器可能會(huì)損失很多Precision值才能換來(lái)Recall值的提高。通常情況下，文章中都會(huì)使用Precision-recall曲線(xiàn)，來(lái)顯示出分類(lèi)器在Precision與Recall之間的權(quán)衡。?
?
上圖就是分類(lèi)器的Precision-recall 曲線(xiàn)，在不損失精度的條件下它能達(dá)到40%Recall。而當(dāng)Recall達(dá)到100%時(shí)，Precision 降低到50%。

Approximated Average precision

相比較與曲線(xiàn)圖，在某些時(shí)候還是一個(gè)具體的數(shù)值能更直觀地表現(xiàn)出分類(lèi)器的性能。通常情況下都是用 Average Precision來(lái)作為這一度量標(biāo)準(zhǔn)，它的公式為：?

∫10p(r)d(r)∫01p(r)d(r)

在這一積分中，其中p代表Precision ，r代表Recall，p是一個(gè)以r為參數(shù)的函數(shù)，That is equal to taking the area under the curve.

?

實(shí)際上這一積分極其接近于這一數(shù)值：對(duì)每一種閾值分別求（Precision值）乘以（Recall值的變化情況），再把所有閾值下求得的乘積值進(jìn)行累加。公式如下：?

∑k=1NP(k)△r(k)∑k=1NP(k)△r(k)

在這一公式中，N代表測(cè)試集中所有圖片的個(gè)數(shù)，P(k)表示在能識(shí)別出k個(gè)圖片的時(shí)候Precision的值，而 Delta r(k) 則表示識(shí)別圖片個(gè)數(shù)從k-1變化到k時(shí)（通過(guò)調(diào)整閾值）Recall值的變化情況。

?

在這一例子中，Approximated Average Precision的值?
=(1 * （0.2-0）) + (1 * (0.4-0.2)) + (0.66 * (0.4-0.4)) + (0.75 * (0.6-0.4)) + (0.6 * (0.6-0.6)) + (0.66 * (0.8-0.6)) + (0.57 * (0.8-0.8)) + (0.5 * (0.8-0.8)) + (0.44 * (0.8-0.8)) + (0.5 * (1-0.8)) = 0.782.

=(1 * 0.2) + (1 * 0.2) + (0.66 *?0) + (0.75 * 0.2) + (0.6 *?0) + (0.66 * 0.2) + (0.57?0) + (0.5?0) + (0.44 *?0) + (0.5 * 0.2) = 0.782.

通過(guò)計(jì)算可以看到，那些Recall值沒(méi)有變化的地方（紅色數(shù)值），對(duì)增加Average Precision值沒(méi)有貢獻(xiàn)。

Interpolated average precision

不同于Approximated Average Precision，一些作者選擇另一種度量性能的標(biāo)準(zhǔn)：Interpolated Average Precision。這一新的算法不再使用P(k)，也就是說(shuō)，不再使用當(dāng)系統(tǒng)識(shí)別出k個(gè)圖片的時(shí)候Precision的值與Recall變化值相乘。而是使用：?

maxk~≥kP(k~)maxk~≥kP(k~)

也就是每次使用在所有閾值的Precision中，最大值的那個(gè)Precision值與Recall的變化值相乘。公式如下：?

∑k=1Nmaxk~≥kP(k~)△r(k)∑k=1Nmaxk~≥kP(k~)△r(k)

?

下圖的圖片是Approximated Average Precision 與 Interpolated Average Precision相比較。?
需要注意的是，為了讓特征更明顯，圖片中使用的參數(shù)與上面所說(shuō)的例子無(wú)關(guān)。?
?
很明顯 Approximated Average Precision與精度曲線(xiàn)挨的很近，而使用Interpolated Average Precision算出的Average Precision值明顯要比Approximated Average Precision的方法算出的要高。

一些很重要的文章都是用Interpolated Average Precision 作為度量方法，并且直接稱(chēng)算出的值為Average Precision 。PASCAL Visual Objects Challenge從2007年開(kāi)始就是用這一度量制度，他們認(rèn)為這一方法能有效地減少Precision-recall 曲線(xiàn)中的抖動(dòng)。所以在比較文章中Average Precision 值的時(shí)候，最好先弄清楚它們使用的是那種度量方式。

IoU

IoU這一值，可以理解為系統(tǒng)預(yù)測(cè)出來(lái)的框與原來(lái)圖片中標(biāo)記的框的重合程度。?
計(jì)算方法即檢測(cè)結(jié)果Detection Result與 Ground Truth 的交集比上它們的并集，即為檢測(cè)的準(zhǔn)確率：

如下圖所示：?
藍(lán)色的框是：GroundTruth?
黃色的框是：DetectionResult?
綠色的框是：DetectionResult ? GroundTruth?
紅色的框是：DetectionResult ? GroundTruth?

參考文章

原文地址：【YOLO學(xué)習(xí)】召回率（Recall），精確率（Precision），平均正確率（Average_precision(AP) ），交除并（Intersection-over-Union（IoU））

其他相關(guān)博客：檢測(cè)率，召回率，mAP，ROC

總結(jié)

以上是生活随笔為你收集整理的目标检测中召回率（Recall），精确率（Precision），平均正确率（Average_precision(AP) ），交除并（Intersection-over-Union（IoU））的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。