Pandas 簡介

運行環(huán)境

jupyter notebook
python 3.6
pandas '0.20.3'
matplotlib '2.1.0'

學(xué)習(xí)目標(biāo)：
* 大致了解 pandas 庫的 DataFrame 和 Series 數(shù)據(jù)結(jié)構(gòu)
* 存取和處理 DataFrame 和 Series 中的數(shù)據(jù)
* 將 CSV 數(shù)據(jù)導(dǎo)入 pandas 庫的 DataFrame
* 對 DataFrame 重建索引來隨機打亂數(shù)據(jù)

pandas 是一種列存數(shù)據(jù)分析 API。它是用于處理和分析輸入數(shù)據(jù)的強大工具，很多機器學(xué)習(xí)框架都支持將 pandas 數(shù)據(jù)結(jié)構(gòu)作為輸入。
雖然全方位介紹 pandas API 會占據(jù)很長篇幅，但它的核心概念非常簡單，我們會在下文中進(jìn)行說明。有關(guān)更完整的參考，請訪問 pandas 文檔網(wǎng)站，其中包含豐富的文檔和教程資源。

基本概念

以下行導(dǎo)入了 pandas API 并輸出了相應(yīng)的 API 版本：

import pandas as pd
pd.__version__

如果要在jupyter notebook中使用畫圖，還需使用：

%matplotlib inline

pandas 中的主要數(shù)據(jù)結(jié)構(gòu)被實現(xiàn)為以下兩類：

• DataFrame，您可以將它想象成一個關(guān)系型數(shù)據(jù)表格，其中包含多個行和已命名的列。
• Series，它是單一列。DataFrame 中包含一個或多個 Series，每個 Series 均有一個名稱。

數(shù)據(jù)框架是用于數(shù)據(jù)操控的一種常用抽象實現(xiàn)形式。Spark 和 R 中也有類似的實現(xiàn)。
創(chuàng)建 Series 的一種方法是構(gòu)建 Series 對象。例如：

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

0    San Francisco
1         San Jose
2       Sacramento
dtype: object

您可以將映射 string 列名稱的 dict 傳遞到它們各自的 Series，從而創(chuàng)建DataFrame對象。如果 Series 在長度上不一致，系統(tǒng)會用特殊的 NA/NaN 值填充缺失的值。例如：

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])pd.DataFrame({ 'City name': city_names, 'Population': population })

但是在大多數(shù)情況下，您需要將整個文件加載到 DataFrame 中。下面的示例加載了一個包含加利福尼亞州住房數(shù)據(jù)的文件。請運行以下單元格以加載數(shù)據(jù)，并創(chuàng)建特征定義：

california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/ml_universities/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()

上面的示例使用 DataFrame.describe 來顯示關(guān)于 DataFrame 的有趣統(tǒng)計信息。另一個實用函數(shù)是 DataFrame.head，它顯示 DataFrame 的前幾個記錄：

california_housing_dataframe.head()

pandas 的另一個強大功能是繪制圖表。例如，借助 DataFrame.hist，您可以快速了解一個列中值的分布：

california_housing_dataframe.hist('housing_median_age')

訪問數(shù)據(jù)

您可以使用熟悉的 Python dict/list 指令訪問 DataFrame 數(shù)據(jù)：

cities = pd.DataFrame({'City name': city_names, 'Population':population})
print(type(cities['City name']))
cities['City name']

<class 'pandas.core.series.Series'>
Out[13]:
0    San Francisco
1         San Jose
2       Sacramento
Name: City name, dtype: object

print type(cities['City name'][1])
cities['City name'][1]

<type 'str'>
Out[7]:
'San Jose'

print type(cities[0:2])
cities[0:2]

此外，pandas 針對高級索引和選擇提供了極其豐富的 API（數(shù)量過多，此處無法逐一列出）。

操控數(shù)據(jù)

您可以向 Series 應(yīng)用 Python 的基本運算指令。例如：

population / 1000.

0     852.469
1    1015.785
2     485.199
dtype: float64

NumPy 是一種用于進(jìn)行科學(xué)計算的常用工具包。pandas Series 可用作大多數(shù) NumPy 函數(shù)的參數(shù)：

import numpy as npnp.log(population)

0    13.655892
1    13.831172
2    13.092314
dtype: float64

對于更復(fù)雜的單列轉(zhuǎn)換，您可以使用 Series.apply。像 Python 映射函數(shù)一樣，Series.apply 將以參數(shù)形式接受 lambda 函數(shù)，而該函數(shù)會應(yīng)用于每個值。

下面的示例創(chuàng)建了一個指明 population 是否超過 100 萬的新 Series：

population.apply(lambda val: val > 1000000)

0    False
1     True
2    False
dtype: bool

DataFrames 的修改方式也非常簡單。例如，以下代碼向現(xiàn)有 DataFrame 添加了兩個 Series：

cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities

練習(xí) 1

通過添加一個新的布爾值列（當(dāng)且僅當(dāng)以下兩項均為 True 時為 True）修改 cities 表格：

• 城市以圣人命名。
• 城市面積大于 50 平方英里。

注意：布爾值 Series 是使用“按位”而非傳統(tǒng)布爾值“運算符”組合的。例如，執(zhí)行邏輯與時，應(yīng)使用 &，而不是 and。

提示：“San” 在西班牙語中意為 “saint”。

解決方案

cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities

索引

Series 和 DataFrame 對象也定義了 index 屬性，該屬性會向每個 Series 項或 DataFrame 行賦一個標(biāo)識符值。

默認(rèn)情況下，在構(gòu)造時，pandas 會賦可反映源數(shù)據(jù)順序的索引值。索引值在創(chuàng)建后是穩(wěn)定的；也就是說，它們不會因為數(shù)據(jù)重新排序而發(fā)生改變。

city_names.index

RangeIndex(start=0, stop=3, step=1)

cities.index

RangeIndex(start=0, stop=3, step=1)

調(diào)用 DataFrame.reindex 以手動重新排列各行的順序。例如，以下方式與按城市名稱排序具有相同的效果：

cities.reindex([2, 0, 1])

重建索引是一種隨機排列 DataFrame 的絕佳方式。在下面的示例中，我們會取用類似數(shù)組的索引，然后將其傳遞至 NumPy 的 random.permutation 函數(shù)，該函數(shù)會隨機排列其值的位置。如果使用此重新隨機排列的數(shù)組調(diào)用 reindex，會導(dǎo)致 DataFrame 行以同樣的方式隨機排列。
嘗試多次運行以下單元格！

cities.reindex(np.random.permutation(cities.index))

有關(guān)詳情，請參閱索引文檔。

練習(xí) 2

reindex 方法允許使用未包含在原始 DataFrame 索引值中的索引值。請試一下，看看如果使用此類值會發(fā)生什么！您認(rèn)為允許此類值的原因是什么？

cities.reindex([3, 0, 5, 1])

如果您的 reindex 輸入數(shù)組包含原始 DataFrame 索引值中沒有的值，reindex 會為此類“丟失的”索引添加新行，并在所有對應(yīng)列中填充 NaN 值.
這種行為是可取的，因為索引通常是從實際數(shù)據(jù)中提取的字符串（請參閱 pandas reindex 文檔，查看索引值是瀏覽器名稱的示例）。

在這種情況下，如果允許出現(xiàn)“丟失的”索引，您將可以輕松使用外部列表重建索引，因為您不必?fù)?dān)心會將輸入清理掉。

后述

本文是google官方提供的教程：
源地址：需要翻墻
我的GitHub文件地址:
https://github.com/sty945/My_Machine_Learning_Notes/blob/master/intro_to_pandas.ipynb

總結(jié)

以上是生活随笔為你收集整理的Pandas 使用入门的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。