（雖然是轉載，但是是我每塊都測試過得，容易出問題的地方我會添加一些自己的經驗，僅供參考）

像Excel一樣使用python進行數據分析（2）

像Excel一樣使用python進行數據分析（3）

摘要：本篇文章通過python與excel的功能對比介紹如何使用python通過函數式編程完成excel中的數據處理及分析工作。

Excel是數據分析中最常用的工具，本篇文章通過python與excel的功能對比介紹如何使用python通過函數式編程完成excel中的數據處理及分析工作。在Python中pandas庫用于數據處理 ，我們從1787頁的pandas官網文檔中總結出最常用的36個函數，通過這些函數介紹如何通過python完成數據生成和導入，數據清洗，預處理，以及最常見的數據分類，數據篩選，分類 匯總，透視等最常見的操作。

文章內容共分為9個部分。這是第一篇，介紹前3部分內容，數據表生成，數據表查看，和數據清洗。

1， 生成數據表

第一部分是生成數據表，常見的生成方法有兩種，第一種是導入外部數據，第二種是直接寫入數據。 Excel中的文件菜單中提供了獲取外部數據的功能，支持數據庫和文本文件和頁面的多種數據源導入。
python支持從多種類型的數據導入。在開始使用python進行數據導入前需要先導入pandas庫，為了方便起見，我們也同時導入numpy庫。

import numpy as np import pandas as pd

導入數據表

下面分別是從excel和csv格式文件導入數據并創建數據表的方法。代碼是最簡模式，里面有很多可選參數設置，例如列名稱，索引列，數據格式等等。感興趣的朋友可以參考pandas的
官方文檔。

#這里注意：read_csv的時候經常會出現編碼錯誤，此時1、需要修改文件路徑中的\ 為 / 2、用notepad將文件的格式修改為utf-8
df=pd.DataFrame(pd.read_csv('name.csv',header=1)) df=pd.DataFrame(pd.read_excel('name.xlsx'))

?

?

創建數據表

另一種方法是通過直接寫入數據來生成數據表，excel中直接在單元格中輸入數據就可以，python中通過下面的代碼來實現。生成數據表的函數是pandas庫中的DateFrame函數，數據表一共有6行數據，每行有6個字段。在數據中我們特意設置了一些NA值和有問題的字段，例如包含空格等。后面將在數據清洗步驟進行處理。后面我們將統一以DataFrame的簡稱df來命名數據表。

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],"date":pd.date_range('20130102', periods=6),"city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],"age":[23,44,54,32,34,32],"category":['100-A','100-B','110-A','110-C','210-A','130-F'],"price":[1200,np.nan,2133,5433,np.nan,4432]},columns =['id','date','city','category','age','price'])

這是剛剛創建的數據表，我們沒有設置索引列，price字段中包含有NA值，city字段中還包含了一些臟數據。

2，數據表檢查

第二部分是對數據表進行檢查，python中處理的數據量通常會比較大，比如我們之前的文章中介紹的紐約出租車數據和Citibike的騎行數據，數據量都在千萬級，我們無法一目了然的 了解數據表的整體情況，必須要通過一些方法來獲得數據表的關鍵信息。數據表檢查的另一個目的是了解數據的概況，例如整個數據表的大小，所占空間，數據格式，是否有空值和重復項和具體的數據內容。為后面的清洗和預處理做好準備。

?

數據維度(行列)

Excel中可以通過CTRL+向下的光標鍵，和CTRL+向右的光標鍵來查看行號和列號。Python中使用shape函數來查看數據表的維度，也就是行數和列數，函數返回的結果(6,6)表示數據表有6行，6列。下面是具體的代碼。

#查看數據表的維度 df.shape (6, 6)

?

數據表信息

使用info函數查看數據表的整體信息，這里返回的信息比較多，包括數據維度，列名稱，數據格式和所占空間等信息。

#數據表信息 df.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 6 entries, 0 to 5 Data columns (total 6 columns): id 6 non-null int64 date 6 non-null datetime64[ns] city 6 non-null object category 6 non-null object age 6 non-null int64 price 4 non-null float64 dtypes: datetime64[ns](1), float64(1), int64(2), object(2) memory usage: 368.0+ bytes

?

查看數據格式

Excel中通過選中單元格并查看開始菜單中的數值類型來判斷數據的格式。Python中使用dtypes函數來返回數據格式。

Dtypes是一個查看數據格式的函數，可以一次性查看數據表中所有數據的格式，也可以指定一列來單獨查看。

#查看數據表各列格式 df.dtypes id int64 date datetime64[ns] city object category object age int64 price float64 dtype: object #查看單列格式 df['B'].dtype dtype('int64')

?

查看空值

Excel中查看空值的方法是使用“定位條件”功能對數據表中的空值進行定位?！岸ㄎ粭l件”在“開始”目錄下的“查找和選擇”目錄中。
Isnull是Python中檢驗空值的函數，返回的結果是邏輯值，包含空值返回True，不包含則返回False?？梢詫φ麄€數據表進行檢查，也可以單獨對某一列進行空值檢查。

#檢查數據空值 df.isnull()

?

#檢查特定列空值 df['price'].isnull() 0 False 1 True 2 False 3 False 4 True 5 False Name: price, dtype: bool

?

查看唯一值

Excel中查看唯一值的方法是使用“條件格式”對唯一值進行顏色標記。Python中使用unique函數查看唯一值。

Unique是查看唯一值的函數，只能對數據表中的特定列進行檢查。下面是代碼，返回的結果是該列中的唯一值。類似與Excel中刪除重復項后的結果。

#查看city列中的唯一值 df['city'].unique() array(['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], dtype=object)

?

查看數據表數值

Python中的Values函數用來查看數據表中的數值。以數組的形式返回，不包含表頭信息。

#查看數據表的值 df.values array([[1001, Timestamp('2013-01-02 00:00:00'), 'Beijing ', '100-A', 23,1200.0],[1002, Timestamp('2013-01-03 00:00:00'), 'SH', '100-B', 44, nan],[1003, Timestamp('2013-01-04 00:00:00'), ' guangzhou ', '110-A', 54,2133.0],[1004, Timestamp('2013-01-05 00:00:00'), 'Shenzhen', '110-C', 32,5433.0],[1005, Timestamp('2013-01-06 00:00:00'), 'shanghai', '210-A', 34,nan],[1006, Timestamp('2013-01-07 00:00:00'), 'BEIJING ', '130-F', 32,4432.0]], dtype=object)

?

查看列名稱

Colums函數用來單獨查看數據表中的列名稱。

#查看列名稱 df.columns Index(['id', 'date', 'city', 'category', 'age', 'price'], dtype='object')

?

查看前10行數據

Head函數用來查看數據表中的前N行數據，默認head()顯示前10行數據，可以自己設置參數值來確定查看的行數。下面的代碼中設置查看前3行的數據。

#查看前3行數據 df.head(3)

?

?

查看后10行數據

Tail行數與head函數相反，用來查看數據表中后N行的數據，默認tail()顯示后10行數據，可以自己設置參數值來確定查看的行數。下面的代碼中設置查看后3行的數據。

#查看最后3行 df.tail(3)

?

3，數據表清洗

第三部分是對數據表中的問題進行清洗。主要內容包括對空值，大小寫問題，數據格式和重復值的處理。這里不包含對數據間的邏輯驗證。

?

處理空值(刪除或填充)

我們在創建數據表的時候在price字段中故意設置了幾個NA值。對于空值的處理方式有很多種，可以直接刪除包含空值的數據，也可以對空值進行填充，比如用0填充或者用均值填充。還可以根據不同字段的邏輯對空值進行推算。

Excel中可以通過“查找和替換”功能對空值進行處理，將空值統一替換為0或均值。也可以通過“定位”空值來實現。

Python中處理空值的方法比較靈活，可以使用 Dropna函數用來刪除數據表中包含空值的數據，也可以使用fillna函數對空值進行填充。下面的代碼和結果中可以看到使用dropna函數后，包含NA值的兩個字段已經不見了。返回的是一個不包含空值的數據表。

#刪除數據表中含有空值的行 df.dropna(how='any')

?

除此之外也可以使用數字對空值進行填充，下面的代碼使用fillna函數對空值字段填充數字0。

#使用數字0填充數據表中空值 df.fillna(value=0)

我們選擇填充的方式來處理空值，使用price列的均值來填充NA字段，同樣使用fillna函數，在要填充的數值中使用mean函數先計算price列當前的均值，然后使用這個均值對NA進行填
充?？梢钥吹絻蓚€空值字段顯示為3299.5

#使用price均值對NA進行填充 df['price'].fillna(df['price'].mean()) 0 1200.0 1 3299.5 2 2133.0 3 5433.0 4 3299.5 5 4432.0 Name: price, dtype: float64

?

?

清理空格

除了空值，字符中的空格也是數據清洗中一個常見的問題，下面是清除字符中空格的代碼。

#清除city字段中的字符空格 df['city']=df['city'].map(str.strip)

大小寫轉換

在英文字段中，字母的大小寫不統一也是一個常見的問題。Excel中有UPPER，LOWER等函數，python中也有同名函數用來解決大小寫的問題。在數據表的city列中就存在這樣的問題。我們將city列的所有字母轉換為小寫。下面是具體的代碼和結果。

?

#city列大小寫轉換 df['city']=df['city'].str.lower()

?

更改數據格式

Excel中通過“設置單元格格式”功能可以修改數據格式。Python中通過astype函數用來修改數據格式。

Python中dtype是查看數據格式的函數，與之對應的是astype函數，用來更改數據格式。下面的代碼中將price字段的值修改為int格式。

#更改數據格式 df['price'].astype('int') 0 1200 1 3299 2 2133 3 5433 4 3299 5 4432 Name: price, dtype: int32

更改列名稱

Rename是更改列名稱的函數，我們將來數據表中的category列更改為category-size。下面是具體的代碼和更改后的結果。

#更改列名稱 df.rename(columns={'category': 'category-size'})

?

?

刪除重復值

很多數據表中還包含重復值的問題，Excel的數據目錄下有“刪除重復項”的功能，可以用來刪除數據表中的重復值。默認Excel會保留最先出現的數據，刪除后面重復出現的數據。

Python中使用drop_duplicates函數刪除重復值。我們以數據表中的city列為例，city字段中存在重復值。默認情況下drop_duplicates()將刪除后出現的重復值(與excel邏輯一致)。增加keep=’last’參數后將刪除最先出現的重復值，保留最后的值。下面是具體的代碼和比較結果。

原始的city列中beijing存在重復，分別在第一位和最后一位。

?

df['city'] 0 beijing 1 sh 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

?

使用默認的drop_duplicates()函數刪除重復值，從結果中可以看到第一位的beijing被保留，最后出現的beijing被刪除。

#刪除后出現的重復值 df['city'].drop_duplicates() 0 beijing 1 sh 2 guangzhou 3 shenzhen 4 shanghai Name: city, dtype: object

?

設置keep=’last‘’參數后，與之前刪除重復值的結果相反，第一位出現的beijing被刪除，保留了最后一位出現的beijing。

#刪除先出現的重復值 df['city'].drop_duplicates(keep='last') 1 sh 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

?

數值修改及替換

數據清洗中最后一個問題是數值修改或替換，Excel中使用“查找和替換”功能就可以實現數值的替換。

Python中使用replace函數實現數據替換。數據表中city字段上海存在兩種寫法，分別為shanghai和SH。我們使用replace函數對SH進行替換。

#數據替換 df['city'].replace('sh', 'shanghai') 0 beijing 1 shanghai 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

?

在第二篇文章中我們將繼續介紹4-6部分的內容，分別為數據預處理，數據提取和數據篩選三部分的問題。感興趣的朋友請繼續關注。

轉載于:https://www.cnblogs.com/xitingxie/p/8336137.html

總結

以上是生活随笔為你收集整理的像Excel一样使用python进行数据分析（1）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。