?應用python進行數據挖掘或計算時，往往需要遍歷多種參數進行數據建模，而單次的建模或計算有時候非常耗時，這時候可以利用python的并行計算功能，加快計算速度。

python能夠應用并行計算的模塊有多個multiprocessing、pathos等。其中multiprocessing模塊應用的較多，但對于數據挖掘場景來說，pathos模塊更實用，尤其允許輸入多個可變參數非常簡單實用。

1.環境&軟件

• win10 64bit
• Python 3.7

2.功能實現

本文總結整理了常見的并行計算場景，編寫parallel.py模塊，主要利用pathos模塊實現，可以實現單變量并行、多變量并行、并行嵌套等功能。通過tdqm模塊增加了進度條，可以顯示計算進度等信息，通過functools模塊中的partial函數將靜態參數凍結，以適應并行框架。

parallel.py

import

函數parallel的參數定義順序需要注意：必選參數--任意位置參數--默認參數--任意關鍵字參數。

3.結果展示

定義另一個parallel_main.py模塊，用來展示各個場景下并行計算結果。

parallel_main.py

from

運行parallel_main.py文件，結果如下：

4.總結&歸納

parallel函數使用注意點:

(1)函數至少輸入一個被并行函數，和可迭代序列參數

(2)要顯示計算過程，設置show=True

(3)被并行函數的依賴模塊需要導入，否則報NameError

(4)嵌套并行需要導入parallel模塊，且子并行需要設置為多線程模式(thread=True)

---

http://weixin.qq.com/r/mShLU4rECNd3rc4w932L (二維碼自動識別)

總結

以上是生活随笔為你收集整理的python partial_Python--并行计算框架（pathos）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。