1 讀取時(shí)抽樣 1%

對(duì)于動(dòng)輒就幾十或幾百個(gè) G 的數(shù)據(jù)，在讀取這么大數(shù)據(jù)時(shí)，有沒(méi)有辦法隨機(jī)選取一小部分?jǐn)?shù)據(jù)，然后讀入內(nèi)存，快速了解數(shù)據(jù)和開展 EDA ？

使用 Pandas 的 skiprows 和 概率知識(shí)，就能做到。

下面解釋具體怎么做。

如下所示，讀取某 100 G 大小的 big_data.csv 數(shù)據(jù)

使用 skiprows 參數(shù)，

x > 0 確保首行讀入，

np.random.rand() > 0.01 表示 99% 的數(shù)據(jù)都會(huì)被隨機(jī)過(guò)濾掉

言外之意，只有全部數(shù)據(jù)的 1% 才有機(jī)會(huì)選入內(nèi)存中。

import pandas as pd import numpy as npdf = pd.read_csv("big_data.csv", skiprows = lambda x: x>0 and np.random.rand() > 0.01)print("The shape of the df is {}. It has been reduced 100 times!".format(df.shape))

使用這種方法，讀取的數(shù)據(jù)量迅速縮減到原來(lái)的 1% ，對(duì)于迅速展開數(shù)據(jù)分析有一定的幫助。

2 replace 做清洗

Pandas 的強(qiáng)項(xiàng)在于數(shù)據(jù)分析，自然就少不了對(duì)數(shù)據(jù)清洗的支持。

今天學(xué)習(xí)一個(gè)快速清洗數(shù)據(jù)的小技巧，在某列上使用 replace 方法和正則，快速完成值的清洗。

源數(shù)據(jù)：

d = {"customer": ["A", "B", "C", "D"], "sales":[1100, "950.5RMB", "$400", " $1250.75"]}df = pd.DataFrame(d) df

打印結(jié)果：

customer sales 0 A 1100 1 B 950.5RMB 2 C $400 3 D $1250.75

看到 sales 列的值，有整型，浮點(diǎn)型+RMB后變?yōu)樽址?#xff0c;還有美元+整型，美元+浮點(diǎn)型。

我們的目標(biāo)：清洗掉 RMB，$ 符號(hào)，轉(zhuǎn)化這一列為浮點(diǎn)型。

一行代碼搞定：（點(diǎn)擊代碼區(qū)域，向右滑動(dòng)，查看完整代碼）

df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")

使用正則替換，將要替換的字符放到列表中 [$,RMB]，替換為空字符，即 ""；

最后使用 astype 轉(zhuǎn)為 float

打印結(jié)果：

customer sales 0 A 1100.00 1 B 950.50 2 C 400.00 3 D 1250.75

Done ~

如果不放心，再檢查下值的類型：

df["sales"].apply(type)

打印結(jié)果：

0 <class 'float'> 1 <class 'float'> 2 <class 'float'> 3 <class 'float'>

3 寬 DF 變長(zhǎng)

為什么需要寬 DF 變長(zhǎng)??

構(gòu)造一個(gè) DataFrame：

d = {\ "district_code": [12345, 56789, 101112, 131415], "apple": [5.2, 2.4, 4.2, 3.6], "banana": [3.5, 1.9, 4.0, 2.3], "orange": [8.0, 7.5, 6.4, 3.9] }df = pd.DataFrame(d) df

打印結(jié)果：

district_code apple banana orange 0 12345 5.2 3.5 8.0 1 56789 2.4 1.9 7.5 2 101112 4.2 4.0 6.4 3 131415 3.6 2.3 3.9

5.2 表示 12345 區(qū)域的 apple 價(jià)格，并且 apple, banana, orange，這三列都是一種水果，那么如何把這三列合并為一列？

使用 pd.melt

具體參數(shù)取值，大家根據(jù)此例去推敲：

df = df.melt(\ id_vars = "district_code", var_name = "fruit_name", value_name = "price") df

打印結(jié)果：

district_code fruit_name price 0 12345 apple 5.2 1 56789 apple 2.4 2 101112 apple 4.2 3 131415 apple 3.6 4 12345 banana 3.5 5 56789 banana 1.9 6 101112 banana 4.0 7 131415 banana 2.3 8 12345 orange 8.0 9 56789 orange 7.5 10 101112 orange 6.4 11 131415 orange 3.9

以上就是長(zhǎng) DataFrame，對(duì)應(yīng)的原 DataFrame 是寬 DF.

看明白嗎？

4 轉(zhuǎn) datetime

告訴年和 dayofyear，怎么轉(zhuǎn) datetime?

原 DataFrame

d = {\ "year": [2019, 2019, 2020], "day_of_year": [350, 365, 1] } df = pd.DataFrame(d) df

打印結(jié)果：

year day_of_year 0 2019 350 1 2019 365 2 2020 1

轉(zhuǎn) datetime 的 trick。

Step 1: 創(chuàng)建整數(shù)

df["int_number"] = df["year"]*1000 + df["day_of_year"] df

打印結(jié)果：

year day_of_year int_number 0 2019 350 2019350 1 2019 365 2019365 2 2020 1 2020001

Step 2: to_datetime

df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j") df

注意 "%Y%j" 中轉(zhuǎn)化格式 j

打印結(jié)果：

year day_of_year int_number date 0 2019 350 2019350 2019-12-16 1 2019 365 2019365 2019-12-31 2 2020 1 2020001 2020-01-01

以上就是 Pandas 做數(shù)據(jù)分析的 4 個(gè) trick。碼字不易，點(diǎn)個(gè)在看。

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)在線手冊(cè)AI基礎(chǔ)下載（pdf更新到25集）本站qq群1003271085，加入微信群請(qǐng)回復(fù)“加群”獲取一折本站知識(shí)星球優(yōu)惠券，請(qǐng)回復(fù)“知識(shí)星球”喜歡文章，點(diǎn)個(gè)在看

總結(jié)

以上是生活随笔為你收集整理的Pandas 4 个小 trick，都很实用！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。