Python 标准库之 subprocesss
Python 目前已經(jīng)廢棄了 os.system、os.spawn*、os.popen*、popen2.*、commands.* 來(lái)執(zhí)行其他語(yǔ)言的命令,取而代之的是 subprocess 模塊。
運(yùn)行 Python 的時(shí)候,我們都是在創(chuàng)建并運(yùn)行一個(gè)進(jìn)程。像 Linux 進(jìn)程那樣,一個(gè)進(jìn)程可以 fork 一個(gè)子進(jìn)程,并讓這個(gè)子進(jìn)程 exec 另外一個(gè)程序。在 Python 中,我們通過(guò)標(biāo)準(zhǔn)庫(kù)中的 subprocess 包來(lái) fork 一個(gè)子進(jìn)程,并運(yùn)行一個(gè)外部的程序。
subprocess 允許你能創(chuàng)建很多子進(jìn)程,創(chuàng)建的時(shí)候能指定子進(jìn)程和子進(jìn)程的 input/output/error 管道,執(zhí)行后能獲取輸出結(jié)果和執(zhí)行狀態(tài)。
1. 常用的方法有
- subprocess.call
subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)
運(yùn)行 args 描述的命令,等待命令完成后返回狀態(tài)碼,如果超過(guò) timeout,子進(jìn)程將會(huì)被 kill 掉,并再次等待。子進(jìn)程被終止后會(huì)拋出 TimeoutExpired 異常。該方法必須等待命令執(zhí)行完畢,會(huì)阻塞主進(jìn)程。
注意:針對(duì)該函數(shù),不要使用 stdout = PIPE 或 stderr = PIPE。因?yàn)椴皇菑漠?dāng)前進(jìn)程中讀取管道(pipe),如果子進(jìn)程沒(méi)有生成足夠的輸出來(lái)填充 os 的管道緩沖區(qū),可能會(huì)阻塞子進(jìn)程。其中 shell 參數(shù)為 False 時(shí),命令需要通過(guò)列表的方式傳入,當(dāng) shell 為 True 時(shí),可直接傳入命令 。
In [54]: subprocess.call("df -h", shell=True)Filesystem Size Used Avail Use% Mounted onudev 7.8G 0 7.8G 0% /devtmpfs 1.6G 18M 1.6G 2% /run/dev/sda3 909G 8.7G 855G 2% /tmpfs 7.8G 98M 7.7G 2% /dev/shmtmpfs 5.0M 4.0K 5.0M 1% /run/locktmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup/dev/sda2 512M 3.5M 509M 1% /boot/efitmpfs 1.6G 64K 1.6G 1% /run/user/1000
Out[54]: 0In [56]: subprocess.call(['df','-h'], shell=False)Filesystem Size Used Avail Use% Mounted onudev 7.8G 0 7.8G 0% /devtmpfs 1.6G 18M 1.6G 2% /run/dev/sda3 909G 8.7G 855G 2% /tmpfs 7.8G 98M 7.7G 2% /dev/shmtmpfs 5.0M 4.0K 5.0M 1% /run/locktmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup/dev/sda2 512M 3.5M 509M 1% /boot/efitmpfs 1.6G 64K 1.6G 1% /run/user/1000
Out[56]: 0
- subprocess.check_call
subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)
用法與 subprocess.call() 類(lèi)似,如果執(zhí)行狀態(tài)碼是 0 ,則返回0,否則拋異常。同樣會(huì)阻塞主進(jìn)程。
- subprocess.check_output
subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False, timeout=None)
用法與上面兩個(gè)方法類(lèi)似,區(qū)別是,如果當(dāng)返回值為0時(shí),直接返回輸出結(jié)果,如果返回值不為0,直接拋出異常。同樣會(huì)阻塞主進(jìn)程。
- subprocess.Popen
在一些復(fù)雜場(chǎng)景中,我們需要將一個(gè)進(jìn)程的執(zhí)行輸出作為另一個(gè)進(jìn)程的輸入。在另一些場(chǎng)景中,我們需要先進(jìn)入到某個(gè)輸入環(huán)境,然后再執(zhí)行一系列的指令等。
subprocess.Popen(args, bufsize=0, stdin=None, stdout=None, stderr=None,shell=False, cwd=None,env=None,universal_newlines=False)
Popen 對(duì)象創(chuàng)建后,主程序不會(huì)自動(dòng)等待子進(jìn)程完成。我們必須調(diào)用對(duì)象的 wait() 方法,父進(jìn)程才會(huì)等待 (也就是阻塞block)。該方法有以下參數(shù):args:必填參數(shù)shell命令,可以是字符串,或者序列類(lèi)型,如 list, tuplebufsize:緩沖區(qū)大小,可不用關(guān)心stdin,stdout,stderr:分別表示程序的標(biāo)準(zhǔn)輸入,標(biāo)準(zhǔn)輸出及標(biāo)準(zhǔn)錯(cuò)誤shell:與上面方法中用法相同,如果shell為T(mén)rue,指定命令將通過(guò)shell執(zhí)行。出于安全考慮,如果命令字符串參數(shù)需要通過(guò)外部的輸入來(lái)構(gòu)成的時(shí)候,強(qiáng)烈建議設(shè)置shell = False,不然容易造成shell注入之類(lèi)的。cwd:用于設(shè)置子進(jìn)程的當(dāng)前目錄env:用于指定子進(jìn)程的環(huán)境變量。如果env=None,則默認(rèn)從父進(jìn)程繼承環(huán)境變量universal_newlines:不同系統(tǒng)的的換行符不同,當(dāng)該參數(shù)設(shè)定為true時(shí),則表示使用\n作為換行符(Unix行結(jié)束符:'\n', Windows行結(jié)束符:'\r\n')
示例:
# 在/root下創(chuàng)建一個(gè)suprocesstest的目錄
import subprocess
a = subprocess.Popen('mkdir subprocesstest',shell=True,cwd='/root')# 將一個(gè)子進(jìn)程的輸出,作為另一個(gè)子進(jìn)程的輸入
child1 = subprocess.Popen(["cat","/etc/passwd"], stdout=subprocess.PIPE)
child2 = subprocess.Popen(["grep","0:0"],stdin=child1.stdout, stdout=subprocess.PIPE)
out = child2.communicate()
Popen 類(lèi)實(shí)例有以下幾個(gè)方法:
child = subprocess.Popen('sleep 60',shell=True,stdout=subprocess.PIPE)
注意:
Popen() # 創(chuàng)建子進(jìn)程并執(zhí)行,該子進(jìn)程執(zhí)行并不會(huì)阻塞父進(jìn)程,該子進(jìn)程和當(dāng)前父進(jìn)程是異步執(zhí)行的。child.poll() # 檢查子進(jìn)程狀態(tài),是否中斷,設(shè)置并返回returncodechild.kill() # 終止子進(jìn)程child.send_signal() # 向子進(jìn)程發(fā)送信號(hào)child.terminate() # 終止子進(jìn)程child.wait() # 等待子進(jìn)程終止,設(shè)置并返回returncode。如果進(jìn)程在timeout(單位秒)之后依然#沒(méi)終止,則拋出TimeoutExpired異常,可以捕獲該異常并再次嘗試等待。wait 函數(shù)會(huì)阻塞當(dāng)前父進(jìn)程,等待子進(jìn)程運(yùn)行結(jié)束,子進(jìn)程結(jié)束之后返回子進(jìn)程的退出值,0表示正常執(zhí)行完成。
警告
當(dāng)使用stdout = PIPE and / or stderr = PIPE時(shí),如果子進(jìn)程生成足夠的輸出到管道,這會(huì)阻止操作系統(tǒng)管道緩沖區(qū)接收更多數(shù)據(jù),進(jìn)而造成死鎖。
為了避免該事件,使用 communicate()
child.communicate(input=None, timeout=None)
input:可選參數(shù),參數(shù)值為發(fā)送給子進(jìn)程的數(shù)據(jù),如果不需要發(fā)送數(shù)據(jù),則為None。如果universal_newlines為 False,則input數(shù)據(jù)類(lèi)型必須為字節(jié),否則可為字符串。
communicate() 返回一個(gè)元組:(stdoutdata, stderrdata),會(huì)阻塞當(dāng)前父進(jìn)程,直到子進(jìn)程執(zhí)行完成,父進(jìn)程才會(huì)往下繼續(xù)執(zhí)行。與子進(jìn)程進(jìn)行交互。向stdin發(fā)送數(shù)據(jù),或從stdout和stderr中讀取數(shù)據(jù)。可選參數(shù)input指定發(fā)送到子進(jìn)程的參數(shù)。
注意:
如果希望通過(guò)進(jìn)程的stdin向其發(fā)送數(shù)據(jù),在創(chuàng)建Popen對(duì)象的時(shí)候,參數(shù)stdin必須被設(shè)置為PIPE。同樣,如果希望從stdout和stderr獲取數(shù)據(jù),必須將stdout和stderr設(shè)置為PIPE。
如果進(jìn)程在timeout(單位秒)之后依然沒(méi)終止,則拋出 TimeoutExpired 異常。子進(jìn)程不會(huì)被 kill 掉,所以為了完成交互,恰當(dāng)?shù)那謇碛押脠?zhí)行的程序,應(yīng)該 kill 子進(jìn)程。
with subprocess.Popen(['dir'], stdout=subprocess.PIPE,stderr=subprocess.PIPE, shell=True, universal_newlines = True) as proc:
try:outs, errs = proc.communicate(timeout=15) #超時(shí)時(shí)間為15秒print(outs, errs)
except subprocess.TimeoutExpired:proc.kill()outs, errs = proc.communicate()print(outs, errs)
注意:讀取的數(shù)據(jù)緩存在內(nèi)存,所以如果數(shù)據(jù)太大或者無(wú)限制,不要使用該函數(shù)。
- 其它方法
subprocess.PIPE 可用于Popen函數(shù)stdin,stdout或者stderr參數(shù)的指特定值,表示必須打開(kāi)一個(gè)指向標(biāo)準(zhǔn)流的管道。
subprocess.STDOUT 可用于Popen函數(shù)stdin,stdout或者stderr參數(shù)的指特定值,表示標(biāo)準(zhǔn)錯(cuò)誤信息必須一起寫(xiě)入同樣的句柄,比如標(biāo)準(zhǔn)輸出。
參考:
http://blog.sina.com.cn/s/blog_13cc013b50102wv83.html
https://blog.csdn.net/songfreeman/article/details/50735045
https://www.cnblogs.com/sunailong/p/5162748.html
https://blog.csdn.net/seetheworld518/article/details/48805261
https://hacpai.com/article/1462524113048
https://blog.csdn.net/ronnyjiang/article/details/53333538
https://www.cnblogs.com/lincappu/p/8270709.html
https://www.cnblogs.com/zhou2019/p/10582716.html
https://www.runoob.com/w3cnote/python3-subprocess.html
總結(jié)
以上是生活随笔為你收集整理的Python 标准库之 subprocesss的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Python 标准库之 commands
- 下一篇: Python 标准库之 time