PR曲線(xiàn)及F1 score

• Pecision 和 Recall
• PR曲線(xiàn)
• • PR曲線(xiàn)的繪制
  • PR曲線(xiàn)的性能比較
• F1 score
• • F1 的一般形式
  • macro-F1
  • micro-F1

Pecision 和 Recall

首先，我們把數(shù)據(jù)和對(duì)應(yīng)的標(biāo)簽稱(chēng)為一個(gè)example。
在二分類(lèi)問(wèn)題中，example可分為真正例（true positive），假正例（fake positive），真反例（true negative），假反例（fake negative）
下面這個(gè)矩陣稱(chēng)為混淆矩陣。

precision 和 recall的計(jì)算公式如下：

PR曲線(xiàn)

PR曲線(xiàn)的繪制

預(yù)測(cè)結(jié)果按照最有可能是正例的樣本到最不可能是正例的樣本的順序排序。

把每個(gè)樣本作為正例進(jìn)行預(yù)測(cè)，計(jì)算出P和R。

以R作為橫軸，P為縱軸

對(duì)上述進(jìn)行解釋：
a) 設(shè)置一個(gè)從高到低的閾值，大于等于閾值的認(rèn)為正例，小于閾值的認(rèn)為負(fù)例。
b) 有n個(gè)樣本, score是分類(lèi)器對(duì)于樣本屬于正例的可能性的打分。
c) n個(gè)閾值，就得到n種標(biāo)注結(jié)果，n對(duì)（P，R）。
d) 將n對(duì)（P，R）在圖上表示出來(lái)，就是PR曲線(xiàn)。

PR曲線(xiàn)如下圖所示，但實(shí)際上PR曲線(xiàn)是非單調(diào)的，不平滑的，在局部有很多波動(dòng)。

PR曲線(xiàn)的性能比較

不同的方法得到的PR曲線(xiàn)不同。
由上圖可以看到A的性能好于C，A和B發(fā)生交叉，只通過(guò)曲線(xiàn)不好判斷，要在具體的P或R下進(jìn)行比較。

為了綜合評(píng)價(jià)性能，提出兩種度量方法：

平衡點(diǎn)（P=R），可見(jiàn)A的平衡點(diǎn)高于B，因此A>B

F1 score
這個(gè)公式稱(chēng)為F1是標(biāo)準(zhǔn)形式。

F1 score

F1 的一般形式

不同的應(yīng)用對(duì)P，R的重視程度不同，F1的表現(xiàn)形式也會(huì)的發(fā)生變化。
其中 β 度量R對(duì)P的相對(duì)重要性。

β=1 F1的標(biāo)準(zhǔn)形式

β>1 R的影響大

β<1 P的影響大

macro-F1

進(jìn)行多次訓(xùn)練測(cè)試時(shí)，每次得到一個(gè)混淆矩陣，或者執(zhí)行多分類(lèi)任務(wù)時(shí)，估計(jì)算法的全局性能。
總之，在n個(gè)二分類(lèi)混淆矩陣上綜合考察PR。
計(jì)算每個(gè)混淆矩陣的P，R，這樣就得到(P1, R1 ),(P2,R2 ),…,(Pn, Rn )
計(jì)算平均值，就得到了macro-P, macro-R,macro-F1

micro-F1

總結(jié)

以上是生活随笔為你收集整理的机器学习：PR曲线及F1 score的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。