模型、数据分布稳定性
模型穩(wěn)定性:
群體穩(wěn)定性指標(population stability index)
公式: psi = sum((實際占比-預期占比)* ln(實際占比/預期占比))
舉個例子解釋下,比如訓練一個logistic回歸模型,預測時候會有個類概率輸出,p。在你的測試數(shù)據(jù)集上的輸出設定為p1,將它從小到大排序后將數(shù)據(jù)集10等分(每組樣本數(shù)一直,此為等寬分組),計算每等分組的最大最小預測的類概率值。
現(xiàn)在你用這個模型去對新的樣本進行預測,預測結果叫p2,利用剛才在測試數(shù)據(jù)集上得到的10等分每等分的上下界。按p2將新樣本劃分為10分(不一定等分了哦)。
實際占比就是新樣本通過p2落在p1劃分出來的每等分界限內的占比,預期占比就是測試數(shù)據(jù)集上各等分樣本的占比。
意義就是如果模型更穩(wěn)定,那么在新的數(shù)據(jù)上預測所得類概率應該更建模分布一致,這樣落在建模數(shù)據(jù)集所得的類概率所劃分的等分區(qū)間上的樣本占比應該和建模時一樣,否則說明模型變化,一般來自預測變量結構變化。通常用作模型效果監(jiān)測。
一般認為PSI小于0.1時候模型穩(wěn)定性很高,0.1-0.2一般,需要進一步研究,大于0.2模型穩(wěn)定性差,建議修復。
數(shù)據(jù)分布穩(wěn)定性:
psi = sum((樣本A分布占比-樣本B分布占比)* ln(樣本A分布占比/樣本B分布占比))
總結
以上是生活随笔為你收集整理的模型、数据分布稳定性的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ArduinoIDE初步开发ESP826
- 下一篇: 从你的全世界路过- 告白气球