python3.x pool.map方法的实质
我使用多進程的一般方式,都是multiprocessing模塊中的Pool.map()方法。下面寫一個簡單的示例和解析。至于此種方法使用多進程的效率問題,還希望大佬予以指正。
示例:
""" 探索pool.map多進程執(zhí)行方式的實質(zhì) """from multiprocessing import Pool from time import sleep from datetime import datetimeclass forMap:def __init__(self):self.name = '沒啥用的初始化'def forPrinit(self, i):sleep(i)print(i)return i ** 2基本的代碼已經(jīng)寫好,下面看看怎么使用多進程去執(zhí)行。
執(zhí)行示例1:
''' 遇到問題沒人解答?小編創(chuàng)建了一個Python學(xué)習(xí)交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學(xué)習(xí)教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創(chuàng)建兩個進程,調(diào)用計算機的兩個內(nèi)核去幫我做事。p = Pool(2)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執(zhí)行時間:', e - s)運行結(jié)果:
2 4 6 [4, 16, 36] 多進程執(zhí)行時間: 0:00:08.191251由于在進程池中創(chuàng)建了兩個進程,所以代碼會調(diào)用計算機的兩個內(nèi)核。而列表l中的三個元素中的前兩個(“2”和“4”),會依次傳入函數(shù)中,由計算機內(nèi)核A和B去執(zhí)行。當(dāng)某一個內(nèi)核執(zhí)行完,會繼續(xù)接收下一個傳入?yún)?shù)“6”函數(shù)。而且內(nèi)核A執(zhí)行的函數(shù),只會sleep兩秒,所以,傳入?yún)?shù)“6”的函數(shù)會由內(nèi)核A去執(zhí)行。所以A一共執(zhí)行了2 + 6 為8秒,又由于是并行,所以總的執(zhí)行時間是8秒(多的那零點幾是初始化、賦值、打印等操作)。
執(zhí)行示例2:
''' 遇到問題沒人解答?小編創(chuàng)建了一個Python學(xué)習(xí)交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學(xué)習(xí)教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創(chuàng)建三個進程p = Pool(3)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執(zhí)行時間:', e - s)執(zhí)行結(jié)果:
2 4 6 [4, 16, 36] 多進程執(zhí)行時間: 0:00:06.273263創(chuàng)建了三個進程 ,并行執(zhí)行,所以執(zhí)行時間是6秒
執(zhí)行示例3:
''' 遇到問題沒人解答?小編創(chuàng)建了一個Python學(xué)習(xí)交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學(xué)習(xí)教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創(chuàng)建三個進程p = Pool(3)l = [2, 4, 6, 8]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執(zhí)行時間:', e - s)執(zhí)行結(jié)果:
2 4 6 8 [4, 16, 36, 64] 多進程執(zhí)行時間: 0:00:10.211451在列表中添加一個元素,首先內(nèi)核A、B、C分別執(zhí)行2, 4, 6。A先結(jié)束,所以8也會由A來執(zhí)行。
執(zhí)行示例4:
if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創(chuàng)建三個進程p = Pool(2)l = [2, 4, 8, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執(zhí)行時間:', e - s)執(zhí)行結(jié)果:
2 4 8 6 [4, 16, 64, 36] 多進程執(zhí)行時間: 0:00:10.200389還是創(chuàng)建兩個進程,將列表中第3和第4個元素交換位置,執(zhí)行結(jié)果為10秒多,而且返回值也是交換過位置之后的,說明map方法中,可迭代對象傳入函數(shù)是從前到后逐個提取元素。
總結(jié)
以上是生活随笔為你收集整理的python3.x pool.map方法的实质的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 13道Python3实例
- 下一篇: python基础教程:装饰器