我正在從bloomberg下載價格數據,并希望以最快和最少內存密集的方式構建DataFrame.假設我通過python向bloomberg提交數據請求,以獲取從1-1-2000到1-1-2013的所有當前S& P 500股票的價格數據.數據由股票代碼返回,然后是日期和價值,一次一個.我目前的方法是為要存儲的日期創建一個列表,并為要存儲的價格創建另一個列表,并在從Bloomberg數據請求響應中讀取每個列表時附加日期和價格.然后,當為特定的股票代碼讀取所有日期和價格時,我使用了為股票代碼創建一個DataFrame

ticker_df = pd.DataFrame(price_list, index = dates_list, columns= [ticker], dtype=float)

我為每個股票代碼執行此操作,將每個股票代碼數據框附加到列表<< df_list.append(ticker_df)>>讀取每個股票代碼的數據后.制作完所有的股票代碼數據幀后,我將所有單個DataFrame合并為一個DataFrame：

lg_index = []

for num in range(len(df_list)):

if len(lg_index) < len(df_list[num].index):

lg_index = df_list[num].index # Use the largest index for creating the result_df

result_df = pd.DataFrame(index= lg_index)

for num in range(len(df_list)):

result_df[df_list[num].columns[0]] = df_list[num]

我這樣做的原因是因為每個股票代碼的指數不相同(如果股票去年只有IPO,等等)

我猜我必須有一個更好的方法來完成我在這里使用更少的內存和更快的方式,我只是想不到它.謝謝！

解決方法:

我不是100％肯定你的后續,但你可以連接一個DataFrames列表：

pd.concat(df_list)

例如：

In [11]: df = pd.DataFrame([[1, 2], [3, 4]])

In [12]: pd.concat([df, df, df])

Out[12]:

0 1

0 1 2

1 3 4

0 1 2

1 3 4

0 1 2

1 3 4

In [13]: pd.concat([df, df, df], axis=1)

Out[13]:

0 1 0 1 0 1

0 1 2 1 2 1 2

1 3 4 3 4 3 4

或做一個外部合并/加入：

In [14]: df1 = pd.DataFrame([[1, 2]], columns=[0, 2])

In [15]: df.merge(df1, how='outer') # do several of these

Out[15]:

0 1 2

0 1 2 2

1 3 4 NaN

標簽：python,memory,dataframe,pandas,performance

來源： https://codeday.me/bug/20190703/1369366.html

總結

以上是生活随笔為你收集整理的python dataframe是什么_python – 逐个构建DataFrame的最快方法是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。