作為一個幾乎每天與時間序列數(shù)據(jù)打交道的人員，我發(fā)現(xiàn)panda?Python包在時間序列的操作和分析方面有強大優(yōu)勢。

這篇關(guān)于panda時間序列數(shù)據(jù)處理的基本介紹可以帶你入門時間序列分析。本文將主要介紹以下操作:

• 創(chuàng)建一個日期范圍
• 處理時間戳數(shù)據(jù)
• 將字符串?dāng)?shù)據(jù)轉(zhuǎn)換為時間戳
• 在數(shù)據(jù)框中索引和切片時間序列數(shù)據(jù)
• 重新采樣不同時間段的時間序列匯總/匯總統(tǒng)計數(shù)據(jù)
• 計算滾動統(tǒng)計數(shù)據(jù)，如滾動平均值
• 處理丟失數(shù)據(jù)
• 了解unix/epoch時間的基礎(chǔ)知識
• 了解時間序列數(shù)據(jù)分析的常見陷阱

接下來我們一起步入正題。如果想要處理已有的實際數(shù)據(jù)，你可能考慮從使用panda read_csv將文件讀入數(shù)據(jù)框開始，然而在這里，我們將直接從處理生成的數(shù)據(jù)開始。

首先導(dǎo)入我們將會使用到的庫，然后用它們創(chuàng)建日期范圍

import pandas as pd from datetime import datetime import numpy as npdate_rng = pd.date_range(start='1/1/2018', end='1/08/2018', freq='H')

這個日期范圍的時間戳為每小時一次。如果我們調(diào)用date_rng，我們會看到如下所示:

DatetimeIndex(['2018-01-01 00:00:00', '2018-01-01 01:00:00','2018-01-01 02:00:00', '2018-01-01 03:00:00','2018-01-01 04:00:00', '2018-01-01 05:00:00','2018-01-01 06:00:00', '2018-01-01 07:00:00','2018-01-01 08:00:00', '2018-01-01 09:00:00',...'2018-01-07 15:00:00', '2018-01-07 16:00:00','2018-01-07 17:00:00', '2018-01-07 18:00:00','2018-01-07 19:00:00', '2018-01-07 20:00:00','2018-01-07 21:00:00', '2018-01-07 22:00:00','2018-01-07 23:00:00', '2018-01-08 00:00:00'],dtype='datetime64[ns]', length=169, freq='H')

我們可以檢查第一個元素的類型:

type(date_rng[0]) #returns pandas._libs.tslib.Timestamp

讓我們用時間戳數(shù)據(jù)的創(chuàng)建一個示例數(shù)據(jù)框，并查看前15個元素：

df = pd.DataFrame(date_rng, columns=['date']) df['data'] = np.random.randint(0,100,size=(len(date_rng))) df.head(15)

如果想進行時間序列操作，我們需要一個日期時間索引。這樣一來，數(shù)據(jù)框便可以在時間戳上建立索引。

將數(shù)據(jù)框索引轉(zhuǎn)換為datetime索引，然后顯示第一個元素:

df['datetime'] = pd.to_datetime(df['date']) df = df.set_index('datetime') df.drop(['date'], axis=1, inplace=True) df.head()

如果數(shù)據(jù)中的“時間”戳實際上是字符串類型和數(shù)值類型相比較，該怎么辦呢?我們可以將date_rng轉(zhuǎn)換為字符串列表，然后將字符串轉(zhuǎn)換為時間戳。

string_date_rng = [str(x) for x in date_rng] string_date_rng #returns ['2018-01-01 00:00:00','2018-01-01 01:00:00','2018-01-01 02:00:00','2018-01-01 03:00:00','2018-01-01 04:00:00','2018-01-01 05:00:00','2018-01-01 06:00:00','2018-01-01 07:00:00','2018-01-01 08:00:00','2018-01-01 09:00:00',...

可以通過推斷字符串的格式將其轉(zhuǎn)換為時間戳，然后查看這些值:

timestamp_date_rng = pd.to_datetime(string_date_rng, infer_datetime_format=True) timestamp_date_rng #returns DatetimeIndex(['2018-01-01 00:00:00', '2018-01-01 01:00:00','2018-01-01 02:00:00', '2018-01-01 03:00:00','2018-01-01 04:00:00', '2018-01-01 05:00:00','2018-01-01 06:00:00', '2018-01-01 07:00:00','2018-01-01 08:00:00', '2018-01-01 09:00:00',...'2018-01-07 15:00:00', '2018-01-07 16:00:00','2018-01-07 17:00:00', '2018-01-07 18:00:00','2018-01-07 19:00:00', '2018-01-07 20:00:00','2018-01-07 21:00:00', '2018-01-07 22:00:00','2018-01-07 23:00:00', '2018-01-08 00:00:00'],dtype='datetime64[ns]', length=169, freq=None)

但是如果需要轉(zhuǎn)換一個唯一的字符串格式呢?

我們可以創(chuàng)建一個任意的字符串形式的日期列表，并將它們轉(zhuǎn)換為時間戳:

string_date_rng_2 = ['June-01-2018', 'June-02-2018', 'June-03-2018'] timestamp_date_rng_2 = [datetime.strptime(x,'%B-%d-%Y') for x in string_date_rng_2] timestamp_date_rng_2 #returns [datetime.datetime(2018, 6, 1, 0, 0),datetime.datetime(2018, 6, 2, 0, 0),datetime.datetime(2018, 6, 3, 0, 0)]

如果把它放到數(shù)據(jù)框中，將會如何?

df2 = pd.DataFrame(timestamp_date_rng_2, columns=['date']) df2

回到最初的數(shù)據(jù)框架，讓我們通過解析時間戳索引來查看數(shù)據(jù):

假設(shè)只想查看本月2號的數(shù)據(jù)，可以使用如下索引。

df[df.index.day == 2]

頂部如圖所示：

也可以通過數(shù)據(jù)框索引直接調(diào)用想查看的日期:

df['2018-01-03']

如何在特定日期之間選擇數(shù)據(jù)？

df['2018-01-04':'2018-01-06']

我們填充的基本數(shù)據(jù)框提供了頻率以小時計的數(shù)據(jù)，但同樣可以以不同的頻率重新采樣數(shù)據(jù)，并指定如何計算新樣本頻率的匯總統(tǒng)計信息。我們可以取每天頻率下數(shù)據(jù)的最小值、最大值、平均值、總和等，而不是每小時的頻率，如下面的例子，計算每天數(shù)據(jù)的平均值:

df.resample('D').mean()

那么諸如滾動平均值或滾動和之類的窗口統(tǒng)計信息呢?

讓我們在原來的df中創(chuàng)建一個新列，計算3個窗口周期內(nèi)的滾動和，然后查看數(shù)據(jù)框的頂部:

df ['rolling_sum'] = df.rolling（3）.sum（） df.head（10）

可以看到，在這個正確的計算中，只有當(dāng)存在三個周期可以回顧時，它才開始具有有效值。

這可以有效地幫我們了解到，當(dāng)處理丟失的數(shù)據(jù)值時，如何向前或向后“滾動”數(shù)據(jù)。

這是我們的df，但有一個新的列，采取滾動求和并向后“滾動”數(shù)據(jù):

df['rolling_sum'] = df.rolling(3).sum() df.head(10)

采用諸如平均時間之類的實際值用于填補丟失的數(shù)據(jù),這種方法通常來說是有效的。但一定謹(jǐn)記,如果你正處理一個時間序列的問題,并且希望數(shù)據(jù)是切合實際的,那么你不應(yīng)該向后“滾動”數(shù)據(jù)。因為這樣一來，你需要的關(guān)于未來的信息就永遠(yuǎn)不可能在那個時間獲取到。你可能更希望頻繁地向前“滾動”數(shù)據(jù)，而不是向后“滾動”。

在處理時間序列數(shù)據(jù)時，可能會遇到Unix時間中的時間值。Unix時間，也稱為Epoch時間，是自協(xié)調(diào)世界時(UTC) 1970年1月1日星期四00:00:00以后經(jīng)過的秒數(shù)。使用Unix時間有助于消除時間戳的歧義，這樣我們就不會被時區(qū)、夏令時等混淆。

下面是一個時間t在Epoch時間的例子，它將Unix/Epoch時間轉(zhuǎn)換為UTC中的常規(guī)時間戳:

epoch_t = 1529272655 real_t = pd.to_datetime(epoch_t, unit='s') real_t #returns Timestamp('2018-06-17 21:57:35')

如果我想把UTC中的時間轉(zhuǎn)換為自己的時區(qū)，可以簡單地做以下操作:

real_t.tz_localize('UTC').tz_convert('US/Pacific') #returns Timestamp('2018-06-17 14:57:35-0700', tz='US/Pacific')

掌握了這些基礎(chǔ)知識后，就可以開始處理時間序列數(shù)據(jù)了。

以下是一些處理時間序列數(shù)據(jù)時要記住的技巧和常見的陷阱:

• 檢查數(shù)據(jù)中可能由區(qū)域特定時間變化（如夏令時）引起的差異。
• 精心跟蹤時區(qū)?- 讓他人通過代碼了解你的數(shù)據(jù)所在的時區(qū)，并考慮轉(zhuǎn)換為UTC或標(biāo)準(zhǔn)化值以保持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)化。
• 丟失的數(shù)據(jù)可能經(jīng)常發(fā)生 - 請確保記錄清潔規(guī)則并考慮不回填在采樣時無法獲得的信息。
• 請記住，當(dāng)重新采樣數(shù)據(jù)或填寫缺失值時，將丟失有關(guān)原始數(shù)據(jù)集的一定數(shù)量的信息。建議跟蹤所有數(shù)據(jù)轉(zhuǎn)換并跟蹤數(shù)據(jù)問題根源。
• 重新采樣數(shù)據(jù)時，最佳方法（平均值，最小值，最大值，總和等）取決于擁有的數(shù)據(jù)類型以及采樣方式。請仔細(xì)考慮如何重新采樣數(shù)據(jù)以進行分析。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的Pandas时序数据处理入门的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。