很多學習器是為測試樣本產生一個實值或概率預測，然后將這個預測值與一個分類閾值（threshold）進行比較，若大于閾值則分為正類，否則為反類．例如，神經網絡在一般情形下是對每個測試樣本預測出一個[0.0,1.0]之間的實值，然后將這個值與 0.5 進行比較，大于 0.5 則判為正例，否則為反例. 這個實值或概率預測結果的好壞, 直接決定了學習器的泛化能力。實際上，根據這個實值或概率預測結果，我們可將測試樣本進行序，“最可能” 是正例的排在最前而，“最不可能” 是正例的排在最后面．這樣，分類過程就相當于在這個排序中以某個 “截斷點” 將樣本分為兩部分，前一部分判作正例，后一部分則判作反例．

不同的應用任務中，我們可根據任務需求采用不同的截斷點，例如若我們更重視“查準率”，則可選擇排序中靠前的位置進行截斷；若更重視“查全率”，則可選擇靠后的位置進行截斷．因此，排序本身的質量好壞，體現了綜合考慮學習器在不同任務下的“期望泛化性能”的好壞，或者說，“一般情況下” 泛化性能的好壞．ROC曲線則是從這個角度出發研究學習器泛化性能的有力工具。

ROC全稱是“受試者工作特征”曲線，它源于“二戰”中用于敵機檢測的雷達信號分析技術，二十世紀六七十年代開始被用于一些心理學、醫學檢應用中，此后被引入機器學習領域。與P-R曲線相似，我們根據學習器的預測結果對樣例進行排序，按此順序逐個把樣本作為正例進行預測，每次計算出兩個重要量的值，分別以它們為橫、縱坐標作圖，就得到了"ROC曲線”。與P-R曲線使用查準率、查全率為縱、橫軸不同，ROC曲線的縱軸是“真正例率”(True Positive Rate,簡稱TPR),橫軸是“假正例率” （False Positive Rate，簡稱FPR).
\[ TPR = \frac{TP}{TP+FN} \tag{1} \]
\[ FPR = \frac{FP}{TN+FP} \tag{2} \]

顯示ROC曲線的圖稱為“ROC圖”。下圖給出了一個示意圖，顯然，對角線對應于“隨機猜測”模型，而點（0,1）則對應于將所有正例排在所有反例之前的“理想模型”。

現實任務中通常是利用有限個試樣例來繪制ROC圖，此時僅能獲得有限個（真正例率，假正例率）坐標對，無法產生光滑ROC曲線，只能繪制出如上圖(b)所示的近似ROC曲線．

繪圖過程很簡單：給定 \(m^+\) 個正例和 \(m^-\) 個反例，根擁學習器預測結果對樣例進行排序，然后把分類閾值設為最大，即把所有樣例均預測為反例，此時真正例率和假正例率均為 \(0\)，在坐標 \((0,0)\) 處標記一個點。然后，將分類閾值依次設為每個樣例的預測值，即依次將每個樣例劃分為正例。設前一個標記點坐標為 \((x,y)\)，當前若為真正例，則對應標記點的坐標為\((x,y+\frac{1}{m^+})\)；當前若為假正例，則對應標記點的坐標為\((x+\frac{1}{m^-},y)\)，然后用線段連接相鄰點即得。

進行學習器的比較時，與P-R圖相似，若一個學習器的ROC曲線被另一個學習器的曲線完全“包住”，則可斷言后者的性能優于前者；若兩個學習器的ROC線發生交又，則難以一般性地斷言兩者孰優孰劣，此時如果一定要進行比較，則較為合理的判據是比較ROC曲線下的面積，即AUC(Area Under ROC Curve)。

從定義可知，AUC可通過對ROC曲線下各部分的面積求和而得．假定ROC曲線是由坐標為 \(\{(x_1,y_1),(x_2,y_2),\dots,(x_m,y_m)\}\) 的點按序連接而形成 \(\left( x_1=0,x_m=1 \right)\)，則AUC可估算為

\[ AUC = \frac{1}{2} \sum \limits_{i=1}^{m-1}(x_{i+1}-x_i)(y_i+y_{i+1}) \tag{3} \]

形式化地看，AUC考慮的是樣本預測的排序質量，因此它與排序誤差有緊密聯系。給定 \(m^+\) 個正例 \(m^-\) 個反例，令 \(D^+\) 和 \(D^-\) 分別表示正、反例集合，則排序 “損失” （loss）定義為

即考慮每一對正、反例，若正例的預值小于反例，則記一個“罰分”；若相等，則記0.5個“罰分”。容易看出，\(\ell_{rank}\) 對應的是ROC曲線之上的面積：若一個正例在ROC線上對應標記點的坐標為 \((x,y)\), 則 \(x\) 恰是排序在其之前的反例所占的比例，即假正例率。達此有
\[ AUC=1-\ell_{rank} \]

轉載于:https://www.cnblogs.com/cheneywilson/p/6802720.html

總結

以上是生活随笔為你收集整理的ROC与AUC的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。