日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

python supervisor_python之supervisor进程管理工具

發布時間:2025/3/21 57 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python supervisor_python之supervisor进程管理工具 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

supervisor是python寫的一個管理進程運行的工具,可以很方便的監聽、啟動、停止、重啟一個或多個進程;有了supervisor后,就不用字節寫啟動和監聽的shell腳本了,非常方便。

supervisor只支持linux系統,并基于python2環境運行,目前python3還沒有官方的版本,但沒有關系,如果項目是python3環境的,可以同時安裝py2和py3兩個版本。

安裝環境

一般linux自帶的python2環境是純潔的,沒有setuptools和pip等工具,先安裝。

python安裝setuptools

wget --no-check-certificate https://bootstrap.pypa.io/ez_setup.py

python2 ez_setup.py --insecure

python安裝pip

wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate

python2 get-pip.py

#更新pip版本

pip2 install --upgrade pip

安裝supervisor

pip2 install supervisor

源碼安裝

# 使用root權限

wget https://pypi.python.org/packages/source/s/supervisor/supervisor-3.1.3.tar.gz --no-check-certificat

tar -zxvf supervisor-3.1.3.tar.gz

cd supervisor-3.1.3

python setup.py install

# 可以在https://pypi.org/project/supervisor/3.1.3/#history網址選擇合適的版本;

supervisor安裝會在linux環境變量中生成三個執行程序:

supervisortd:守護進程服務,用于接收進程管理命令,執行相關的進程操作;重啟閃退或異常退出的子進程,把子進程的stderr或stdout記錄到日志文件中,但是其不會把print語句輸出的值記錄到日志中,需要配合logging模塊使用。

echo_supervisord_conf: 生成初始配置文件程序,可以指定其路徑。

supervisorctl:客戶端,和守護進程通信,supervisorctl不僅可以連接到本機上的supervisord,還可以連接到遠程的supervisord,在本機上面是通過UNIX socket連接的,遠程是通過TCP socket連接的;這樣supervisorctl可以同時管理本地和遠程的進程。

設置supervisor的配置文件

一般將配置文件放置在/etc/supervisor/目錄下;

mkdir /etc/supervisor

echo_supervisord_conf > /etc/supervisor/supervisord.conf

配置文件的解析

[unix_http_server]

file=/tmp/supervisor.sock ; socket文件的路徑,supervisorctl用XML_RPC和supervisord通信就是通過它進行

的。如果不設置的話,supervisorctl也就不能用了

;chmod=0700 ; 修改上面的那個socket文件的權限為0700

默認為0700。 非必須設置

;chown=nobody:nogroup ; 修改上面socket文件的屬組為user.group

不設置的話,默認為啟動supervisord進程的用戶及屬組。非必須設置

;username=user ; 使用supervisorctl連接supervisord的時候,認證的用戶

不設置的話,默認為不需要用戶。 非必須設置

;password=123 ; 和上面的用戶名對應的密碼,可以直接使用明碼,也可以使用SHA加密

如:{SHA}82ab876d1387bfafe46cc1c8a2ef074eae50cb1d

默認不設置,非必須設置

;[inet_http_server] ; 偵聽在TCP上的socket,supervisor的server管理服務和遠程的supervisorctl都要用到,

不設置的話,默認為不開啟網頁管理和遠程管理,非必須設置

;port=127.0.0.1:9001 ; 這個是偵聽的IP和端口,偵聽所有IP用 :9001或*:9001。

這個必須設置,只要上面的[inet_http_server]開啟了,就必須設置它

;username=user ; 認證的用戶

;password=123 ; 密碼

[supervisord] ;這個主要是定義supervisord這個服務端進程的一些參數的,必須設置

logfile=/tmp/supervisord.log ; 這個是supervisord這個主進程的日志路徑,注意和子進程的日志無關。

默認路徑$CWD/supervisord.log,$CWD是當前目錄,非必須設置

logfile_maxbytes=50MB ; 這個是上面那個日志文件的最大的大小,當超過50M的時候,會生成一個新的日

志文件。當設置為0時,表示不限制文件大小

默認值是50M,非必須設置。

logfile_backups=10 ; 日志文件保持的數量,上面的日志文件大于50M時,就會生成一個新文件。文件

數量大于10時,最初的老文件被新文件覆蓋,文件數量將保持為10

當設置為0時,表示不限制文件的數量。

loglevel=info ; 日志級別,有critical, error, warn, info, debug, trace, or blather等

默認為info,非必須設置項

pidfile=/tmp/supervisord.pid ; supervisord的pid文件路徑。

默認為$CWD/supervisord.pid。。。非必須設置

nodaemon=false ; 如果是true,supervisord進程將在前臺運行

默認為false,也就是后臺以守護進程運行。。。非必須設置

minfds=1024 ; 這個是最少系統空閑的文件描述符,低于這個值supervisor將不會啟動。

系統的文件描述符在這里設置cat /proc/sys/fs/file-max

默認情況下為1024。。。非必須設置

minprocs=200 ; 最小可用的進程描述符,低于這個值supervisor也將不會正常啟動。

ulimit -u這個命令,可以查看linux下面用戶的最大進程數

默認為200。。。非必須設置

;umask=022 ; 進程創建文件的掩碼

默認為022。。非必須設置項

;user=chrism ; 這個參數可以設置一個非root用戶,當我們以root用戶啟動supervisord之后。

我這里面設置的這個用戶,也可以對supervisord進行管理

默認情況是不設置。。。非必須設置項

;identifier=supervisor ; 這個參數是supervisord的標識符,主要是給XML_RPC用的。當你有多個

supervisor的時候,而且想調用XML_RPC統一管理,就需要為每個

supervisor設置不同的標識符了

默認是supervisord。。。非必需設置

;directory=/tmp ; 這個參數是當supervisord作為守護進程運行的時候,設置這個參數的話,啟動

supervisord進程之前,會先切換到這個目錄

默認不設置。。。非必須設置

;nocleanup=true ; 這個參數當為false的時候,會在supervisord進程啟動的時候,把以前子進程

產生的日志文件(路徑為AUTO的情況下)清除掉。有時候咱們想要看歷史日志,當

然不想日志被清除了。所以可以設置為true

默認是false,有調試需求的同學可以設置為true。。。非必須設置

;childlogdir=/tmp ; 當子進程日志路徑為AUTO的時候,子進程日志文件的存放路徑。

默認路徑是這個東西,執行下面的這個命令看看就OK了,處理的東西就默認路徑

python -c "import tempfile;print tempfile.gettempdir()"

非必須設置

;environment=KEY="value" ; 這個是用來設置環境變量的,supervisord在linux中啟動默認繼承了linux的

環境變量,在這里可以設置supervisord進程特有的其他環境變量。

supervisord啟動子進程時,子進程會拷貝父進程的內存空間內容。 所以設置的

這些環境變量也會被子進程繼承。

小例子:environment=name="haha",age="hehe"

默認為不設置。。。非必須設置

;strip_ansi=false ; 這個選項如果設置為true,會清除子進程日志中的所有ANSI 序列。什么是ANSI

序列呢?就是我們的\n,\t這些東西。

默認為false。。。非必須設置

; the below section must remain in the config file for RPC

; (supervisorctl/web interface) to work, additional interfaces may be

; added by defining them in separate rpcinterface: sections

[rpcinterface:supervisor] ;這個選項是給XML_RPC用的,當然你如果想使用supervisord或者web server 這

個選項必須要開啟的

supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl] ;這個主要是針對supervisorctl的一些配置

serverurl=unix:///tmp/supervisor.sock ; 這個是supervisorctl本地連接supervisord的時候,本地UNIX socket

路徑,注意這個是和前面的[unix_http_server]對應的,

默認值就是unix:///tmp/supervisor.sock,其默認路徑就是/var/tmp/supervisor.sock

;serverurl=http://127.0.0.1:9001 ; 這個是supervisorctl遠程連接supervisord的時候,用到的TCP socket路徑

注意這個和前面的[inet_http_server]對應

默認就是http://127.0.0.1:9001,如果開啟這個功能,必須遠程的supervisord服務的[inet_http_server]是開啟的,否則連接失敗;

非必須項

;username=chris ; 使用supervisorctl時需要認證的用戶名

默認空。。非必須設置

;password=123 ; 密碼

默認空。。非必須設置

;prompt=mysupervisor ; 輸入用戶名密碼時候的提示符

默認supervisor。。非必須設置

;history_file=~/.sc_history ; 這個參數和shell中的history類似,我們可以用上下鍵來查找前面執行過的命令

默認是no file的。。所以我們想要有這種功能,必須指定一個文件。。。非

必須設置

; The below sample program section shows all possible program subsection values,

; create one or more 'real' program: sections to be able to control them under

; supervisor.

;[program:theprogramname] ;這個就是要管理的子進程了,":"后面的是名字,最好別亂寫和實際進程

有點關聯最好。這樣的program我們可以設置一個或多個,一個program就是

要被管理的一個進程

;command=/bin/cat ; 這個就是我們的要啟動進程的命令路徑了,可以帶參數

例子:/home/test.py -a 'hehe'

有一點需要注意的是,我們的command只能是那種在終端運行的進程,不能是

守護進程。這個想想也知道了,比如說command=service httpd start。

httpd這個進程被linux的service管理了,我們的supervisor再去啟動這個命令

這已經不是嚴格意義的子進程了。

這個是個必須設置的項

;process_name=%(program_name)s ; 這個是進程名,如果我們下面的numprocs參數為1的話,就不用管這個參數

了,它默認值%(program_name)s也就是上面的那個program冒號后面的名字,

但是如果numprocs為多個的話,那就不能這么干了;可以使用%(program_num)2d進程名字將其區別開;

;numprocs=1 ; 啟動進程的數目。當不為1時,就是進程池的概念,注意process_name的設置

默認為1 。。非必須設置

;directory=/tmp ; 進程運行前,會前切換到這個目錄

默認不設置。。。非必須設置

;umask=022 ; 進程掩碼,默認none,非必須

;priority=999 ; 子進程啟動關閉優先級,優先級低的,最先啟動,關閉的時候最后關閉

默認值為999 。。非必須設置

;autostart=true ; 如果是true的話,子進程將在supervisord啟動后被自動啟動

默認就是true 。。非必須設置

;autorestart=unexpected ; 這個是設置子進程掛掉后自動重啟的情況,有三個選項,false,unexpected

和true。如果為false的時候,無論什么情況下,都不會被重新啟動,

如果為unexpected,只有當進程的退出碼不在下面的exitcodes里面定義的退

出碼的時候,才會被自動重啟。當為true的時候,只要子進程掛掉,將會被無

條件的重啟,也就是說即使使用stop命令停止后也會自動重啟進程;默認unexpected

;startsecs=1 ; 這個選項是子進程啟動多少秒之后,此時狀態如果是running,則我們認為啟

動成功了

默認值為1 。。非必須設置

;startretries=3 ; 當進程啟動失敗后,最大嘗試啟動的次數。。當超過3次后,supervisor將把

此進程的狀態置為FAIL

默認值為3 。。非必須設置

;exitcodes=0,2 ; 注意和上面的的autorestart=unexpected對應。。exitcodes里面的定義的

退出碼是expected的。

;stopsignal=QUIT ; 進程停止信號,可以為TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信號

默認為TERM 。。當用設定的信號去干掉進程,退出碼會被認為是expected

非必須設置

;stopwaitsecs=10 ; 這個是當我們向子進程發送stopsignal信號后,到系統返回信息

給supervisord,所等待的最大時間。 超過這個時間,supervisord會向該

子進程發送一個強制kill的信號。

默認為10秒。。非必須設置

;stopasgroup=false ; 這個東西主要用于,supervisord管理的子進程,這個子進程本身還有

子進程。那么我們如果僅僅干掉supervisord的子進程的話,子進程的子進程

有可能會變成孤兒進程。所以咱們可以設置選項,把整個該子進程的

整個進程組都干掉。 設置為true的話,一般killasgroup也會被設置為true。

需要注意的是,該選項發送的是stop信號

默認為false。。非必須設置。。

;killasgroup=false ; 這個和上面的stopasgroup類似,不過發送的是kill信號

;user=chrism ; 如果supervisord是root啟動,我們在這里設置這個非root用戶,可以用來

管理該program

默認不設置。。。非必須設置項

;redirect_stderr=true ; 如果為true,則stderr的日志會被寫入stdout日志文件中

默認為false,非必須設置

;stdout_logfile=/a/path ; 子進程的stdout的日志路徑,可以指定路徑,AUTO,none等三個選項。

設置為none的話,將沒有日志產生。設置為AUTO的話,將隨機找一個地方

生成日志文件,而且當supervisord重新啟動的時候,以前的日志文件會被

清空。當 redirect_stderr=true的時候,sterr也會寫進這個日志文件

;stdout_logfile_maxbytes=1MB ; 日志文件最大大小,和[supervisord]中定義的一樣。默認為50

;stdout_logfile_backups=10 ; 和[supervisord]定義的一樣。默認10

;stdout_capture_maxbytes=1MB ; 這個東西是設定capture管道的大小,當值不為0的時候,子進程可以從stdout

發送信息,而supervisor可以根據信息,發送相應的event。

默認為0,為0的時候表達關閉管道。。。非必須項

;stdout_events_enabled=false ; 當設置為ture的時候,當子進程由stdout向文件描述符中寫日志的時候,將

觸發supervisord發送PROCESS_LOG_STDOUT類型的event

默認為false。。。非必須設置

;stderr_logfile=/a/path ; 這個東西是設置stderr寫的日志路徑,當redirect_stderr=true。這個就不用

設置了,設置了也是白搭。因為它會被寫入stdout_logfile的同一個文件中

默認為AUTO,也就是隨便找個地存,supervisord重啟被清空。。非必須設置

;stderr_logfile_maxbytes=1MB ;

;stderr_logfile_backups=10 ;

;stderr_capture_maxbytes=1MB ;

;stderr_events_enabled=false ;

;environment=A="1",B="2" ; 這個是該子進程的環境變量,和別的子進程是不共享的

;serverurl=AUTO ;

; The below sample eventlistener section shows all possible

; eventlistener subsection values, create one or more 'real'

; eventlistener: sections to be able to handle event notifications

; sent by supervisor.

;[eventlistener:theeventlistenername] ;這個東西其實和program的地位是一樣的,也是suopervisor啟動的子進

程,不過它干的活是訂閱supervisord發送的event。他的名字就叫

listener了。我們可以在listener里面做一系列處理,比如報警等等

;command=/bin/eventlistener ; 這個和上面的program一樣,表示listener的可執行文件的路徑

;process_name=%(program_name)s ; 這個也一樣,進程名,當下面的numprocs為多個的時候,才需要。否則默認就

OK了

;numprocs=1 ; 相同的listener啟動的個數

;events=EVENT ; event事件的類型,也就是說,只有寫在這個地方的事件類型。才會被發送

;buffer_size=10 ; 這個是event隊列緩存大小,當buffer

超過10的時候,最舊的event將會被清除,并把新的event放進去。

默認值為10。。非必須選項

;directory=/tmp ; 進程執行前,會切換到這個目錄下執行

默認為不切換。。。非必須

;umask=022 ; 淹沒,默認為none,不說了

;priority=-1 ; 啟動優先級,默認-1,也不扯了

;autostart=true ; 是否隨supervisord啟動一起啟動,默認true

;autorestart=unexpected ; 是否自動重啟,和program一個樣,分true,false,unexpected等,注意

unexpected和exitcodes的關系

;startsecs=1 ; 也是一樣,進程啟動后跑了幾秒鐘,才被認定為成功啟動,默認1

;startretries=3 ; 失敗最大嘗試次數,默認3

;exitcodes=0,2 ; 期望或者說預料中的進程退出碼,

;stopsignal=QUIT ; 干掉進程的信號,默認為TERM,比如設置為QUIT,那么如果QUIT來干這個進程

那么會被認為是正常維護,退出碼也被認為是expected中的

;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)

;stopasgroup=false ; send stop signal to the UNIX process group (default false)

;killasgroup=false ; SIGKILL the UNIX process group (def false)

;user=chrism ;設置普通用戶,可以用來管理該listener進程。

默認為空。。非必須設置

;redirect_stderr=true ; 為true的話,stderr的log會并入stdout的log里面

默認為false。。。非必須設置

;stdout_logfile=/a/path ;

;stdout_logfile_maxbytes=1MB ;

;stdout_logfile_backups=10 ;

;stdout_events_enabled=false ;

;stderr_logfile=/a/path ;

;stderr_logfile_maxbytes=1MB ;

;stderr_logfile_backups ;

;stderr_events_enabled=false ;

;environment=A="1",B="2" ;

;serverurl=AUTO ;

; The below sample group section shows all possible group values,

; create one or more 'real' group: sections to create "heterogeneous"

; process groups.

;[group:thegroupname] ;這個東西就是給programs分組,劃分到組里面的program。我們就不用一個一個去操作了

我們可以對組名進行統一的操作。 注意:program被劃分到組里面之后,就相當于原來

的配置從supervisor的配置文件里消失了,supervisor只會對組進行管理,而不再

會對組里面的單個program進行管理了

;programs=progname1,progname2 ; 組成員,用逗號分開

這個是個必須的設置項

;priority=999 ; 優先級,相對于組和組之間說的

默認999。。非必須選項

; The [include] section can just contain the "files" setting. This

; setting can list multiple files (separated by whitespace or

; newlines). It can also contain wildcards. The filenames are

; interpreted as relative to this file. Included files *cannot*

; include files themselves.

;[include] ;這個東西挺有用的,當我們要管理的進程很多的時候,寫在一個文件里面

就有點大了。我們可以把配置信息寫到多個文件中,然后include過來

;files = relative/directory/*.ini

如果想快速上手使用的話,上述的所有配置全部了解是讓人頭暈的,下面說說當只有一兩個進程需要管理的時候的配置。

快速修改配置

# 修改[unix_http_server]

[unix_http_server]

file=/var/run/supervisor.sock # /tmp中的文件會被系統刪除,所以為了安全,修改該路徑。

# 修改[inet_http_server]

[inet_http_server] # 啟動遠程管理和界面管理

port=:9001 # 監聽端口,綁定ip和端口

username=user # 遠程管理需要的用戶

password=123 # 密碼

# 修改[supervisord]

[supervisord]

logfile=/var/log/supervisord.log # 日志路徑改為標準的日志路徑

pidfile=/var/run/supervisord.pid # 進程文件路徑

# 修改[supervisorctl]

[supervisorctl]

serverurl=unix:///run/supervisor.sock # 根據[unix_http_server]修改路徑

# 修改[program:theprogramname]

[program:test] # 將注釋去掉,為進程命名

command=python test.py # 進程的啟動命令,可以帶參數

process_name=%(program_name)s_%(program_num)2d # 如果要開多個進程才用到這個參數

numprocs=2 # 設置進程的個數,1個就不用設置了

directory=/usr/bin # 執行啟動命令前切換到這個目錄,如果命令是使用全路徑啟動的話就不要設置了

stdout_logfile=/var/log/%(program_name)s_out.log # 設置輸出日志

stderr_logfile=/var/log/%(program_name)s_err.log # 設置錯誤日志

啟動supercisord服務端

啟動 supervisord 進程,同時我們在配置文件中設置的進程也會相應啟動。

# 使用默認的配置文件/etc/supervisord.conf

supervisord

# 明確指定配置文件

supervisord -c /etc/supervisor/supervisord.conf

# 使用 user 用戶啟動 supervisord

supervisord -u user

supervisorctl相關的管理命令

# 顯示當前管理的所有進程

supervisorctl status

# 停止某一個進程,program_name 為 [program:x] 里的 x

supervisorctl stop program_name

# 啟動某個進程

supervisorctl start program_name

# 重啟某個進程

supervisorctl restart program_name

# 結束所有屬于名為 groupworker 這個分組的進程 (start,restart 同理)

supervisorctl stop groupworker:

# 結束 groupworker:name1 這個進程 (start,restart 同理)

supervisorctl stop groupworker:name1

# 停止全部進程,注:start、restart、stop 都不會載入最新的配置文件

supervisorctl stop all

# 載入最新的配置文件,停止原有進程并按新的配置啟動、管理所有進程

supervisorctl reload

# 根據最新的配置文件,啟動新配置或有改動的進程,配置沒有改動的進程不會受影響而重啟

supervisorctl update

# 顯示用 stop 停止掉的進程,用 reload 或者 update 都不會自動重啟。

錯誤提醒

如果按以上命令行操作出現以下error:

Error: .ini file does not include supervisorctl section

For help, use /usr/local/bin/supervisorctl -h

或者

error: , [Errno 101] Network is unreachable: file: /usr/lib/python2.7/socket.py line: 571

切換到/etc/supervisor目錄執行命令行操作,至于原因,樓主暫時不清楚。

瀏覽器管理進程

上述的配置已經開啟了瀏覽器管理功能;

# 在瀏覽器輸入

http://服務器ip:9001

# 輸入用戶名密碼

設置supervisord開機自啟動

# 在/etc/init.d/目錄建立一個文件

touch Ssupervisord.service

vi Ssupervisord.service

#!/bin/sh

# chkconfig 2345 20 80

supervisord -c /etc/supervisor/supervisord.conf

# 添加到chkconfig管理

chkconfig --add Ssupervisord.service

設置管理多個進程

多個同一類進程

# 比如多個消費者,需要啟動多個相同的文件

# 修改[program:theprogramname]

process_name=%(program_name)s_%(program_num)2d # 如果要開多個進程才用到這個參數

numprocs=2 # 設置進程數

多個不同進程使用組管理

# 先配置多個[program:theprogramname]

[program:programname1]

xxxx

[program:programname2]

xxxx

[group:thegroupname]

programs=programname1,programname2

priority=999

可以通過管理thegroupnam來同時管理programname1,programname2

設置多個配置文件

如果需要管理的進程文件非常多,一個配置文件就會顯得非常的凌亂,可以使用多個配置文件。

[include]

files = /etc/supervisor/supervisord.d/*.ini # 創建一個新的文件夾,將每個進程單獨寫成一個配置文件,如果要包含多個不同路徑的文件,用空格隔開

# 每個配置文件的內容

[program:programname1]

xxxx

例如配置一個redis的進程文件

[program:redis_6390]

command=/usr/local/bin/redis-server /etc/redis/6390.conf

stdout_logfile=/var/log/redis_6390_out.log

stderr_logfile=/var/log/redis-6390_err.log

priority=300

總結

以上是生活随笔為你收集整理的python supervisor_python之supervisor进程管理工具的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。