python执行时间长被kill_用python记录运行pid,并在需要时kill掉它们的实例
我在跑爬蟲程序的時候,由于爬蟲程序的等待目標服務器返回數據的時間很長,而cpu占用很低,所以經常掛著代理一跑就跑好幾百個。但是爬蟲程序通常是寫了死循環,或直到分配給該進程的任務都跑完才退出的。如果我們想中途結束掉這些任務,是沒辦法手工一個一個kill掉的。那么該如何結束這些進程呢?
我的方法就是在運行爬蟲進程時,記錄該進程的Pid,然后在需要手動結束時,再用語句kill掉它們。
for i in {1..100}
do
nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid
sleep 10
done
上述語句完成了將腳本在后臺運行100便,并且將pid append到run.pid文件中。其中nohup 是 no hang up的縮寫命令。do…done之間是被循環的語句。
接下來就是kill掉它們的語句了,我用的python
import os
if __name__ == '__main__':
fin = open('run.pid', 'r')
pids = []
for line in fin:
pids.append(line.strip())
for pid in pids:
cmd = 'kill ' + pid
os.system(cmd)
這樣就把記錄下來的pid全部kill掉了。
但需要注意的一點時,如果在任務運行期間,有的進程由于完成任務或者出錯而退出。其他的程序可能會share這些進程的Pid,這樣如果在運行kill腳本的時候,可能附帶就把這些進程也給Kill掉了,造成不必要的麻煩。
以上這篇用python記錄運行pid,并在需要時kill掉它們的實例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持萬仟網。
希望與廣大網友互動??
點此進行留言吧!
總結
以上是生活随笔為你收集整理的python执行时间长被kill_用python记录运行pid,并在需要时kill掉它们的实例的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: JAVA5000行代码什么概念_GitH
- 下一篇: websocket python爬虫_p