from pandas import Series,DataFrame #注意大小寫(xiě)import pandas as pd

Series的字符串表現(xiàn)形式為：索引在左邊，值在右邊。

可以通過(guò)Series的values和index屬性獲得其數(shù)組表現(xiàn)形式和索引對(duì)象。

與普通Numpy數(shù)組相比，可以通過(guò)索引的方式選取Series中的單個(gè)或一組值。

?

DataFrame 是一個(gè)表格型的數(shù)據(jù)結(jié)構(gòu)，它含有一組有序的列，每列可以是不同的值類型。它既有行索引也有列索引。

構(gòu)建DataFrame的方法很多，最常用的是直接傳入一個(gè)由等長(zhǎng)列表或者numpy數(shù)組組成的字典，并且會(huì)自動(dòng)加上索引列。也可以指定列順序。

data = {'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]} frame = DataFrame(data) DataFrame(data,cloums=['year','state','pop'])

注：通過(guò)索引方式返回的列只是相應(yīng)數(shù)據(jù)的視圖而已，因此，對(duì)返回的series所做的任何修改都會(huì)反映到源DataFrame上。通過(guò)Series的copy方法即可顯式地復(fù)制列。

---

reindex

創(chuàng)建一個(gè)適應(yīng)新索引的新對(duì)象，即會(huì)根據(jù)新索引進(jìn)行重排，如果某個(gè)索引值當(dāng)前不存在，就引入缺失值。

參數(shù)	說(shuō)明
ffill或pad	前向填充
bfill或backfill	后向填充

?

---

pandas對(duì)象擁有一組常用的數(shù)學(xué)和統(tǒng)計(jì)方法。它們大部分都屬于約簡(jiǎn)和匯總統(tǒng)計(jì)，用于從Series中提取單個(gè)值或從DataFrame的行或列中提取一個(gè)Series。跟對(duì)應(yīng)的Numpy數(shù)組方法相比，它們都是基于沒(méi)有缺失數(shù)據(jù)的假設(shè)而構(gòu)建的。

.describe 一次性產(chǎn)生多個(gè)匯總統(tǒng)計(jì).

利用DataFrame的corrwith方法，可以計(jì)算其列和行與另一個(gè)列或者行之間的相關(guān)系數(shù)。

?

---

唯一值

obj = Series(['c','a','d','a','a','b','b','c','c']) uniques=obj.unique() uniques

輸出 array([c,a,d,b], dtype=object)

返回的唯一值是未排序的，如果需要的話，可以對(duì)結(jié)果再次排序( uniques.sort() )。

value_counts用于計(jì)算一個(gè)Series中各值出現(xiàn)的頻率。是一個(gè)頂級(jí)pandas方法，可以用于任何數(shù)組或序列。

---

?

Pandas對(duì)象上的所有描述和統(tǒng)計(jì)都排除了缺失數(shù)據(jù)，即浮點(diǎn)值NaN和None。

1. dropna 過(guò)濾缺失數(shù)據(jù)。對(duì)于一個(gè)Series，dropna返回一個(gè)僅含有非空數(shù)據(jù)和索引值的Series。?data.dropna()

2. 使用布爾型索引? data[data.notnull()]

而對(duì)于DataFrame對(duì)象，事情有些復(fù)雜，dropna默認(rèn)丟棄任何含有缺失值的行。而加上 data.dropna(how='all')將只丟棄全為NA的行。丟棄列的話只需傳入axis=1

另一個(gè)濾除DataFrame行的問(wèn)題涉及時(shí)間序列數(shù)據(jù)，如果只想留下一部分觀測(cè)數(shù)據(jù)，可以使用thresh參數(shù)實(shí)現(xiàn)。

?

填充缺失數(shù)據(jù)

fillna(0)可以將缺失值替換成常數(shù)值，0可以換。如果是通過(guò)一個(gè)字典調(diào)用的fillna，則可實(shí)現(xiàn)對(duì)不同列填充不同的值。df.fillna({1: 0.5, 3: -1}) 給第二列空值賦 0.5，第4列賦-1。 也可以傳入series的平均值，中位值，向下向上填充等等。

?

層次化索引

在數(shù)據(jù)重塑和基于分組的操作中很重要。在一個(gè)軸上擁有多個(gè)索引。

?

---

pandas 自動(dòng)類型轉(zhuǎn)化 TextParser類。

1 from pandas.io.parsers import TextParser 2 3 def parse_option_data(tabl): 4 rows = table.findall('.//tr') 5 header = _unpack(rows[0], kind='th') 6 data = [_unpack(r) for r in rows[1:]] 7 return TextParser(data, names = header).get_chunk()

?

---

?

離散化和面元(bin)劃分

要實(shí)現(xiàn)該功能，需要使用pandas的cut函數(shù)：

1 ages = [20,22,25,27,21,23,37,31,61,45,41,32] 2 bins = [18,25,35,69,100] 3 cats=pd.cut(ages,bins) 4 pd.value_counts(cats) 5 6 output:(18, 25] 5 7 (35, 69] 4 8 (25, 35] 3 9 (69, 100] 0 10 dtype: int64

如果向cut傳入的是面元的數(shù)量而不是確切的面元邊界，則它會(huì)根據(jù)數(shù)據(jù)的最小值和最大值計(jì)算等長(zhǎng)面元。下面的例子將一些均勻分布的數(shù)據(jù)分為四組：

1 data=np.random.rand(20) 2 pd.cut(data,4,precision=2)--精確兩位小數(shù)

qcut是類似于cut的函數(shù)，根據(jù)樣本分位數(shù)進(jìn)行面元?jiǎng)澐?#xff0c;可以保證每個(gè)面元中含有相同數(shù)量的數(shù)據(jù)點(diǎn)。

這兩個(gè)離散化函數(shù)對(duì)于分量和分組分析非常重要。

---

?

異常值，也叫孤立點(diǎn)或者離群值，它的過(guò)濾或者變換很大程度上其實(shí)是數(shù)組運(yùn)算。下面看一個(gè)含有正態(tài)分布數(shù)據(jù)的DataFrame：

1 np.random.seed(12345) 2 data=DataFrame(np.random.randn(1000,4)) 3 data.describe()

?

轉(zhuǎn)載于:https://www.cnblogs.com/yzhnm/p/10253195.html

總結(jié)

以上是生活随笔為你收集整理的python--学习笔记6 pandas的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。