有關(guān)pandas模塊的學(xué)習(xí)與應(yīng)用主要介紹以下8個(gè)部分：

1、數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)介：DataFrame和Series

2、數(shù)據(jù)索引index

3、利用pandas查詢數(shù)據(jù)

4、利用pandas的DataFrames進(jìn)行統(tǒng)計(jì)分析

5、利用pandas實(shí)現(xiàn)SQL操作

6、利用pandas進(jìn)行缺失值的處理

7、利用pandas實(shí)現(xiàn)Excel的數(shù)據(jù)透視表功能

8、多層索引的使用

昨天我們?cè)赑ython數(shù)據(jù)分析之pandas學(xué)習(xí)(一)中已經(jīng)介紹到了第四部分的描述性統(tǒng)計(jì)分析，我們接著往下講pandas模塊中的其他的知識(shí)點(diǎn)。

五、類似于SQL的操作

在SQL中常見(jiàn)的操作主要是增、刪、改、查幾個(gè)動(dòng)作，那么pandas能否實(shí)現(xiàn)對(duì)數(shù)據(jù)的這幾項(xiàng)操作呢？答案是Of Course!

增：添加新行或增加新列

In [99]: dic = {'Name':['LiuShunxiang','Zhangshan'],

...: ? ? ? ?'Sex':['M','F'],'Age':[27,23],

...: ? ? ? ?'Height':[165.7,167.2],'Weight':[61,63]}

In [100]: student2 = pd.DataFrame(dic)

In [101]: student2

Out[101]:

Age ?Height ? ? ? ? ?Name Sex ?Weight

0 ? 27 ? 165.7 ?LiuShunxiang ? M ? ? ?61

1 ? 23 ? 167.2 ? ? Zhangshan ? F ? ? ?63

現(xiàn)在將student2中的數(shù)據(jù)新增到student中，可以通過(guò)concat函數(shù)實(shí)現(xiàn)：

注意到了嗎？在數(shù)據(jù)庫(kù)中union必須要求兩張表的列順序一致，而這里concat函數(shù)可以自動(dòng)對(duì)齊兩個(gè)數(shù)據(jù)框的變量！

新增列的話，其實(shí)在pandas中就更簡(jiǎn)單了，例如在student2中新增一列學(xué)生成績(jī)：

對(duì)于新增的列沒(méi)有賦值，就會(huì)出現(xiàn)空NaN的形式。

刪：刪除表、觀測(cè)行或變量列

刪除數(shù)據(jù)框student2,通過(guò)del命令實(shí)現(xiàn)，該命令可以刪除Python的所有對(duì)象。

刪除指定的行

原數(shù)據(jù)中的第1,2,4,7行的數(shù)據(jù)已經(jīng)被刪除了。

根據(jù)布爾索引刪除行數(shù)據(jù)，其實(shí)這個(gè)刪除就是保留刪除條件的反面數(shù)據(jù)，例如刪除所有14歲以下的學(xué)生：

刪除指定的列

我們發(fā)現(xiàn)，不論是刪除行還是刪除列，都可以通過(guò)drop方法實(shí)現(xiàn)，只需要設(shè)定好刪除的軸即可，即調(diào)整drop方法中的axis參數(shù)。默認(rèn)該參數(shù)為0，表示刪除行觀測(cè)，如果需要?jiǎng)h除列變量，則需設(shè)置為1。

改：修改原始記錄的值

如果發(fā)現(xiàn)表中的某些數(shù)據(jù)錯(cuò)誤了，如何更改原來(lái)的值呢？我們?cè)囋嚱Y(jié)合布爾索引和賦值的方法：

例如發(fā)現(xiàn)student3中姓名為L(zhǎng)iushunxiang的學(xué)生身高錯(cuò)了，應(yīng)該是173，如何改呢？

這樣就可以把原來(lái)的身高修改為現(xiàn)在的170了。

看，關(guān)于索引的操作非常靈活、方便吧，就這樣輕松搞定數(shù)據(jù)的更改。

查：有關(guān)數(shù)據(jù)查詢部分，上面已經(jīng)介紹過(guò)，下面重點(diǎn)講講聚合、排序和多表連接操作。

聚合：pandas模塊中可以通過(guò)groupby()函數(shù)實(shí)現(xiàn)數(shù)據(jù)的聚合操作

根據(jù)性別分組，計(jì)算各組別中學(xué)生身高和體重的平均值：

如果不對(duì)原始數(shù)據(jù)作限制的話，聚合函數(shù)會(huì)自動(dòng)選擇數(shù)值型數(shù)據(jù)進(jìn)行聚合計(jì)算。如果不想對(duì)年齡計(jì)算平均值的話，就需要剔除改變量：

groupby還可以使用多個(gè)分組變量，例如根本年齡和性別分組，計(jì)算身高與體重的平均值：

當(dāng)然，還可以對(duì)每個(gè)分組計(jì)算多個(gè)統(tǒng)計(jì)量：

是不是很簡(jiǎn)單，只需一句就能完成SQL中的SELECT...FROM...GROUP BY...功能，何樂(lè)而不為呢？

排序：

排序在日常的統(tǒng)計(jì)分析中還是比較常見(jiàn)的操作，我們可以使用order、sort_index和sort_values實(shí)現(xiàn)序列和數(shù)據(jù)框的排序工作：

我們?cè)僭囋嚱敌蚺判虻脑O(shè)置：

上面兩個(gè)結(jié)果其實(shí)都是按值排序，并且結(jié)果中都給出了警告信息，即建議使用sort_values()函數(shù)進(jìn)行按值排序。

在數(shù)據(jù)框中一般都是按值排序，例如：

多表連接:

多表之間的連接也是非常常見(jiàn)的數(shù)據(jù)庫(kù)操作，連接分內(nèi)連接和外連接，在數(shù)據(jù)庫(kù)語(yǔ)言中通過(guò)join關(guān)鍵字實(shí)現(xiàn)，pandas我比較建議使用merger函數(shù)實(shí)現(xiàn)數(shù)據(jù)的各種連接操作。

如下是構(gòu)造一張學(xué)生的成績(jī)表：

現(xiàn)在想把學(xué)生表student與學(xué)生成績(jī)表score做一個(gè)關(guān)聯(lián)，該如何操作呢？

注意，默認(rèn)情況下，merge函數(shù)實(shí)現(xiàn)的是兩個(gè)表之間的內(nèi)連接，即返回兩張表中共同部分的數(shù)據(jù)。可以通過(guò)how參數(shù)設(shè)置連接的方式，left為左連接；right為右連接；outer為外連接。

左連接實(shí)現(xiàn)的是保留student表中的所有信息，同時(shí)將score表的信息與之配對(duì)，能配多少配多少，對(duì)于沒(méi)有配對(duì)上的Name，將會(huì)顯示成績(jī)?yōu)镹aN。

六、缺失值處理

現(xiàn)實(shí)生活中的數(shù)據(jù)是非常雜亂的，其中缺失值也是非常常見(jiàn)的，對(duì)于缺失值的存在可能會(huì)影響到后期的數(shù)據(jù)分析或挖掘工作，那么我們?cè)撊绾翁幚磉@些缺失值呢？常用的有三大類方法，即刪除法、填補(bǔ)法和插值法。

刪除法：當(dāng)數(shù)據(jù)中的某個(gè)變量大部分值都是缺失值，可以考慮刪除改變量；當(dāng)缺失值是隨機(jī)分布的，且缺失的數(shù)量并不是很多是，也可以刪除這些缺失的觀測(cè)。

替補(bǔ)法：對(duì)于連續(xù)型變量，如果變量的分布近似或就是正態(tài)分布的話，可以用均值替代那些缺失值；如果變量是有偏的，可以使用中位數(shù)來(lái)代替那些缺失值；對(duì)于離散型變量，我們一般用眾數(shù)去替換那些存在缺失的觀測(cè)。

插補(bǔ)法：插補(bǔ)法是基于蒙特卡洛模擬法，結(jié)合線性模型、廣義線性模型、決策樹(shù)等方法計(jì)算出來(lái)的預(yù)測(cè)值替換缺失值。

我們這里就介紹簡(jiǎn)單的刪除法和替補(bǔ)法：

這是一組含有缺失值的序列，我們可以結(jié)合sum函數(shù)和isnull函數(shù)來(lái)檢測(cè)數(shù)據(jù)中含有多少缺失值：

In [130]:sum(pd.isnull(s))

Out[130]: 9

直接刪除缺失值

默認(rèn)情況下，dropna會(huì)刪除任何含有缺失值的行，我們?cè)贅?gòu)造一個(gè)數(shù)據(jù)框試試：

返回結(jié)果表明，數(shù)據(jù)中只要含有缺失值NaN,該數(shù)據(jù)行就會(huì)被刪除，如果使用參數(shù)how='all'，則表明只刪除所有行為缺失值的觀測(cè)。

使用一個(gè)常量來(lái)填補(bǔ)缺失值，可以使用fillna函數(shù)實(shí)現(xiàn)簡(jiǎn)單的填補(bǔ)工作：

1)用0填補(bǔ)所有缺失值

2)采用前項(xiàng)填充或后向填充

3)使用常量填充不同的列

4)用均值或中位數(shù)填充各自的列

很顯然，在使用填充法時(shí)，相對(duì)于常數(shù)填充或前項(xiàng)、后項(xiàng)填充，使用各列的眾數(shù)、均值或中位數(shù)填充要更加合理一點(diǎn)，這也是工作中常用的一個(gè)快捷手段。

七、數(shù)據(jù)透視表

在Excel中有一個(gè)非常強(qiáng)大的功能就是數(shù)據(jù)透視表，通過(guò)托拉拽的方式可以迅速的查看數(shù)據(jù)的聚合情況，這里的聚合可以是計(jì)數(shù)、求和、均值、標(biāo)準(zhǔn)差等。

pandas為我們提供了非常強(qiáng)大的函數(shù)pivot_table()，該函數(shù)就是實(shí)現(xiàn)數(shù)據(jù)透視表功能的。對(duì)于上面所說(shuō)的一些聚合函數(shù)，可以通過(guò)參數(shù)aggfunc設(shè)定。我們先看看這個(gè)函數(shù)的語(yǔ)法和參數(shù)吧：

pivot_table(data,values=None,

index=None,

columns=None,

aggfunc='mean',

fill_value=None,

margins=False,

dropna=True,

margins_name='All')

data：需要進(jìn)行數(shù)據(jù)透視表操作的數(shù)據(jù)框

values：指定需要聚合的字段

index：指定某些原始變量作為行索引

columns：指定哪些離散的分組變量

aggfunc：指定相應(yīng)的聚合函數(shù)

fill_value：使用一個(gè)常數(shù)替代缺失值，默認(rèn)不替換

margins：是否進(jìn)行行或列的匯總，默認(rèn)不匯總

dropna：默認(rèn)所有觀測(cè)為缺失的列

margins_name：默認(rèn)行匯總或列匯總的名稱為'All'

我們?nèi)匀灰詓tudent表為例，來(lái)認(rèn)識(shí)一下數(shù)據(jù)透視表pivot_table函數(shù)的用法：

對(duì)一個(gè)分組變量(Sex)，一個(gè)數(shù)值變量(Height)作統(tǒng)計(jì)匯總

對(duì)一個(gè)分組變量(Sex)，兩個(gè)數(shù)值變量(Height,Weight)作統(tǒng)計(jì)匯總

對(duì)兩個(gè)分組變量(Sex，Age)，兩個(gè)數(shù)值變量(Height,Weight)作統(tǒng)計(jì)匯總

很顯然這樣的結(jié)果并不像Excel中預(yù)期的那樣，該如何變成列聯(lián)表的形式的？很簡(jiǎn)單，只需將結(jié)果進(jìn)行非堆疊操作(unstack)即可：

看，這樣的結(jié)果是不是比上面那種看起來(lái)更舒服一點(diǎn)？

使用多個(gè)聚合函數(shù)

有關(guān)更多數(shù)據(jù)透視表的操作，可參考《Pandas透視表(pivot_table)詳解》一文，鏈接地址：http://python.jobbole.com/81212/

八、多層索引的使用

最后我們?cè)賮?lái)講講pandas中的一個(gè)重要功能，那就是多層索引。在序列中它可以實(shí)現(xiàn)在一個(gè)軸上擁有多個(gè)索引，就類似于Excel中常見(jiàn)的這種形式：

對(duì)于這樣的數(shù)據(jù)格式有什么好處呢？pandas可以幫我們實(shí)現(xiàn)用低維度形式處理高維數(shù)數(shù)據(jù)，這里舉個(gè)例子也許你就能明白了：

對(duì)于這種多層次索引的序列，取數(shù)據(jù)就顯得非常簡(jiǎn)單了：

對(duì)于這種多層次索引的序列，我們還可以非常方便的將其轉(zhuǎn)換為數(shù)據(jù)框的形式：

以上針對(duì)的是序列的多層次索引，數(shù)據(jù)框也同樣有多層次的索引，而且每條軸上都可以有這樣的索引，就類似于Excel中常見(jiàn)的這種形式：

我們不妨構(gòu)造一個(gè)類似的高維數(shù)據(jù)框：

同樣，數(shù)據(jù)框中的多層索引也可以非常便捷的取出大塊數(shù)據(jù)：

在數(shù)據(jù)框中使用多層索引，可以將整個(gè)數(shù)據(jù)集控制在二維表結(jié)構(gòu)中，這對(duì)于數(shù)據(jù)重塑和基于分組的操作(如數(shù)據(jù)透視表的生成)比較有幫助。

就拿student二維數(shù)據(jù)框?yàn)槔?#xff0c;我們構(gòu)造一個(gè)多層索引數(shù)據(jù)集：

講到這里，我們關(guān)于pandas模塊的學(xué)習(xí)基本完成，其實(shí)在掌握了pandas這8個(gè)主要的應(yīng)用方法就可以靈活的解決很多工作中的數(shù)據(jù)處理、統(tǒng)計(jì)分析等任務(wù)。有關(guān)更多的pandas介紹，可參考pandas官方文檔：http://pandas.pydata.org/pandas-docs/version/0.17.0/whatsnew.html。

強(qiáng)烈推薦《Python數(shù)據(jù)分析》和《利用Python進(jìn)行數(shù)據(jù)分析》兩本書(shū)，書(shū)中詳細(xì)講解了如何使用numpy、pandas、scipy、matplotlib等模塊進(jìn)行數(shù)據(jù)分析，目前我也正在使用這兩本參考書(shū)，感興趣的朋友可以一起學(xué)習(xí)，共同進(jìn)步。學(xué)習(xí)任何一門(mén)計(jì)算機(jī)語(yǔ)言都需要你不斷的思考和敲擊鍵盤(pán)，每天進(jìn)步一點(diǎn)點(diǎn)，你會(huì)感謝一年前努力的自己！

每天進(jìn)步一點(diǎn)點(diǎn)2015

學(xué)習(xí)與分享，取長(zhǎng)補(bǔ)短，關(guān)注小號(hào)！

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的pandas python2_Python数据分析之pandas学习（二）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。