我已經(jīng)看到一些使用Python多處理模塊的內(nèi)存使用的帖子.但問題似乎并不能解決我在這里遇到的問題.我發(fā)表了我的分析,希望有人能幫助我.

問題

我正在使用多進(jìn)程并行執(zhí)行任務(wù),我注意到,工作進(jìn)程的內(nèi)存消耗無限期增長(zhǎng).我有一個(gè)小的獨(dú)立的例子,應(yīng)該復(fù)制我注意到的.

import multiprocessing as mp

import time

def calculate(num):

l = [num*num for num in range(num)]

s = sum(l)

del l # delete lists as an option

return s

if __name__ == "__main__":

pool = mp.Pool(processes=2)

time.sleep(5)

print "launching calculation"

num_tasks = 1000

tasks = [pool.apply_async(calculate,(i,)) for i in range(num_tasks)]

for f in tasks:

print f.get(5)

print "calculation finished"

time.sleep(10)

print "closing pool"

pool.close()

print "closed pool"

print "joining pool"

pool.join()

print "joined pool"

time.sleep(5)

系統(tǒng)

我正在運(yùn)行Windows,我使用任務(wù)管理器來監(jiān)視內(nèi)存使用情況.我正在運(yùn)行Python 2.7.6.

意見

我已經(jīng)總結(jié)了下面的2個(gè)工作進(jìn)程的內(nèi)存消耗.

+---------------+----------------------+----------------------+

| num_tasks | memory with del | memory without del |

| | proc_1 | proc_2 | proc_1 | proc_2 |

+---------------+----------------------+----------------------+

| 1000 | 4884 | 4694 | 4892 | 4952 |

| 5000 | 5588 | 5596 | 6140 | 6268 |

| 10000 | 6528 | 6580 | 6640 | 6644 |

+---------------+----------------------+----------------------+

在上表中,我嘗試更改任務(wù)數(shù)量,并觀察在所有計(jì)算結(jié)束之前和加入池之前消耗的內(nèi)存. “del”和“without del”選項(xiàng)是否分別對(duì)calculate(num)函數(shù)中的del l行進(jìn)行注釋或注釋.計(jì)算前,內(nèi)存消耗量約為4400.

>看起來手動(dòng)清除列表的結(jié)果是工作進(jìn)程的內(nèi)存使用量較低.我以為垃圾收集器會(huì)照顧這個(gè).有辦法強(qiáng)制垃圾收集嗎？

>令人困惑的是,隨著任務(wù)數(shù)量的增加,這兩種情況下的內(nèi)存使用量不斷增加.有沒有辦法限制內(nèi)存使用？

我有一個(gè)基于這個(gè)例子的過程,意在長(zhǎng)期運(yùn)行.我觀察到這個(gè)工作進(jìn)程在過夜運(yùn)行之后占用了大量的內(nèi)存(?4GB).做一個(gè)連接來釋放內(nèi)存不是一個(gè)選擇,我試圖找出一種沒有加入的方式.

這似乎有點(diǎn)神秘.有人遇到過類似的事情嗎？如何解決這個(gè)問題？

總結(jié)

以上是生活随笔為你收集整理的python有内存处理模块吗_使用Python多处理的高内存使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。