工作中，我們經(jīng)常會遇到數(shù)據(jù)異常，比如說瀏覽量突增猛降，交易量突增猛降，但是這些數(shù)據(jù)又不是符合正太分布的，如果用幾倍西格瑪就不合適，那么我們?nèi)绾蝸砼袛噙@些變化是否在合理的范圍呢？

小白查閱一些資料后，發(fā)現(xiàn)可以用箱形圖，具體描述如下：

箱形圖（英文：Box plot），又稱為盒須圖、盒式圖、盒狀圖或箱線圖，是一種用作顯示一組數(shù)據(jù)分散情況資料的統(tǒng)計(jì)圖。因型狀如箱子而得名。箱形圖最大的優(yōu)點(diǎn)就是不受異常值的影響，能夠準(zhǔn)確穩(wěn)定地描繪出數(shù)據(jù)的離散分布情況，同時(shí)也利于數(shù)據(jù)的清洗。

異常值可以設(shè)置為上四分位數(shù)的1.25倍，也可以設(shè)置為1.5倍，具體的要通過實(shí)驗(yàn)可得。

1、下四分位數(shù)Q1

（1）確定四分位數(shù)的位置。Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的項(xiàng)數(shù)。

（2）根據(jù)位置，計(jì)算相應(yīng)的四分位數(shù)。

例中：Q1所在的位置=（14+1）/4=3.75，Q1=0.25×第三項(xiàng)+0.75×第四項(xiàng)=0.25×17+0.75×19=18.5；

2、中位數(shù)（第二個(gè)四分位數(shù)）Q2中位數(shù)，即一組數(shù)由小到大排列處于中間位置的數(shù)。若序列數(shù)為偶數(shù)個(gè)，該組的中位數(shù)為中間兩個(gè)數(shù)的平均數(shù)。

例中：Q2所在的位置=2（14+1）/4=7.5，Q2=0.5×第七項(xiàng)+0.5×第八項(xiàng)=0.5×25+0.5×28=26.5

3、上四分位數(shù)Q3計(jì)算方法同下四分位數(shù)。

例中：Q3所在的位置=3（14+1）/4=11.25，Q3=0.75×第十一項(xiàng)+0.25×第十二項(xiàng)=0.75×34+0.25×35=34.25。

4、上限上限是非異常范圍內(nèi)的最大值。

首先要知道什么是四分位距如何計(jì)算的？四分位距IQR=Q3-Q1，那么上限=Q3+1.5IQR5、下限下限是非異常范圍內(nèi)的最小值。下限=Q1-1.5IQR

我這里是使用上四分位數(shù)的1.5倍作為上限，下四分位數(shù)的1.5倍作為下限。

這里是拿歷史一個(gè)月每天的產(chǎn)量和間夜量作為參考，統(tǒng)計(jì)出歷史的箱線圖的各個(gè)指標(biāo)，然后將要比較的數(shù)據(jù)，來進(jìn)行循環(huán)判斷，若超過上限/下限那么拋出1和0.

# -*- coding: utf-8 -*-

"""

Created on Tue Apr 30 10:52:37 2019

@author: chen_lib

"""

import pandas as pd

catering_sale = 'D:/Users/chen_lib/Desktop/ceshi.csv' #讀取歷史數(shù)據(jù)

datax = pd.read_csv(catering_sale) #讀取數(shù)據(jù)

#取出不是昨天的數(shù)據(jù)

data = datax.loc[datax['orderdate'] != datetime][:]

'''

import time

## yyyy-mm-dd格式

print (time.strftime("%Y-%m-%d"))

'''

#時(shí)間減一天

import datetime

datetime = (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d")

#保存基本統(tǒng)計(jì)量，將常見的統(tǒng)計(jì)信息保存為數(shù)據(jù)框

statistics = data.describe()

#添加行標(biāo)簽 計(jì)算出每個(gè)指標(biāo)的上線下線和四分位間距

statistics.loc['IQR'] = statistics.loc['75%']-statistics.loc['25%'] #四分位數(shù)間距

statistics.loc['UP'] = statistics.loc['75%'] + 1.5*statistics.loc['IQR'] #上限

statistics.loc['DAWN'] = statistics.loc['25%'] - 1.5*statistics.loc['IQR']#下限

#取出data的列名

columns = data.columns.values.tolist()

'''取出要比較的數(shù)值,放在統(tǒng)計(jì)信息表'''

a = data.loc[data['orderdate'] == datetime][columns[1]]#取出第一列

b = data.loc[data['orderdate'] == datetime][columns[2]]#取出第二列

statistics.loc['res'] = [a[1],b[1]]#取出需要比較的當(dāng)天的數(shù)據(jù) 放入統(tǒng)計(jì)信息中

'''循環(huán)取出結(jié)果是否滿足要求'''

ret = []

for i in range(2):

res = statistics.loc['res'][i]

max = statistics.loc['UP'][columns[i+1]]#最大值

min = statistics.loc['DAWN'][columns[i+1]]#最小值

'''

#重建三個(gè)值的索引，以便比較大小

res.index = ['ordernum']

max.index = max['ordernum']

min.index = min['ordernum']

#判斷異常值，若大于最大值或者小于最小值則拋出結(jié)果為1

'''

result1 = res>max

result2 = res

if result1 =='False' or result2 == 'False':

ret.append([columns[i+1],1])

else:

ret.append([columns[i+1],0])

df = pd.DataFrame(ret)

#將文件寫入excel表中

df.to_excel("d:/Users/chen_lib/Desktop/ceshi.xlsx",sheet_name="total",index=False,header=False)

以上這篇Python實(shí)現(xiàn)非正太分布的異常值檢測方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

總結(jié)

以上是生活随笔為你收集整理的python异常值检测的方法_Python实现非正太分布的异常值检测方式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。