一、協(xié)程

協(xié)程，又稱微線程。協(xié)程是一種用戶態(tài)的輕量級(jí)線程。

協(xié)程擁有自己的寄存器上下文和棧。協(xié)程調(diào)度切換時(shí)，將寄存器上下文和棧保存到其他地方，在切回來的時(shí)候，恢復(fù)先前保存的寄存器上下文和棧。因此:協(xié)程能保留上一次調(diào)用時(shí)的狀態(tài)（即所有局部狀態(tài)的一個(gè)特定組合），每個(gè)過程重入時(shí)，就相當(dāng)于進(jìn)入上一次調(diào)用的狀態(tài)，換種說法：進(jìn)入上一次離開時(shí)所處邏輯流的位置。

協(xié)程的好處：

無需線程上下文切換的開銷

無需原子操作鎖定及同步的開銷

方便切換控制流，簡(jiǎn)化編程模型

高并發(fā)+高擴(kuò)展+低成本：一個(gè)CPU支持上萬的協(xié)程都不是問題。所以很適合用于高并發(fā)處理。

協(xié)程的缺點(diǎn)：

無法利用多核資源：協(xié)程的本質(zhì)是個(gè)單線程，它不能同時(shí)將單個(gè)CPU的多個(gè)核用上，協(xié)程需要和進(jìn)程配合才能運(yùn)行在多CPU上，當(dāng)然我們?nèi)粘Ｋ帉懙慕^大部分應(yīng)用都沒有這個(gè)必要，除非是cpu密集型應(yīng)用。

進(jìn)行阻塞（Blocking）操作（如IO時(shí)）會(huì)阻塞掉整個(gè)程序。

使用yield實(shí)現(xiàn)協(xié)程操作例子：

#!/usr/bin/python #-*- conding:utf-8 -*- import time,queue def consumer(name):print("-->starting eating baozi...")while True:new_baozi = yieldprint("[%s] 在吃包子 %s " % (name,new_baozi)) def producer():r = person.__next__()r = person.__next__()n = 0while n < 5:n +=1person.send(n)person2.send(n)print("\033[32;1m[老板]\033[0m 在生產(chǎn)包子%s" %n) if __name__ == '__main__':person = consumer("人1")person2 = consumer("人2")p = producer() View Code

Greenlet

#!/usr/bin/env python # --*- coding:utf8 -*- from greenlet import greenlet def test1():print(12)gr2.switch()print(34)gr2.switch() def test2():print(56)gr1.switch()print(78)gr1.switch()gr1 = greenlet(test1) gr2 = greenlet(test2) gr1.switch() View Code

結(jié)果輸出：

12
56
34
78

Gevent

Gevent是一個(gè)第三方庫，可以輕松通過gevent實(shí)現(xiàn)并發(fā)同步或異步編程，在gevet中用到的主要模式是Greenlet，它是以C擴(kuò)展模塊形式接入Python的輕量級(jí)協(xié)程。Greenlet全部運(yùn)行在主程序操作系統(tǒng)進(jìn)程的內(nèi)部，但它們被協(xié)作式的調(diào)整。

#!/usr/bin/env python # --*- coding:utf8 -*- import gevent def foo():print('Running in foo')gevent.sleep(0)print('Explicit context switch to foo again')def bar():print('Explicit context to bar')gevent.sleep(0)print('Implicit context switch back to bar') gevent.joinall([gevent.spawn(foo),gevent.spawn(bar), ]) View Code

同步與異步的性能區(qū)別

#!/usr/bin/env python # --*- coding:utf8 -*- import gevent def task(pid):"""Some non-deterministic task"""gevent.sleep(0.5)print('Task %s done' % pid) def syschronous():for i in range(1,10):task(i) def asynchronous():threads = [gevent.spawn(task,i) for i in range(10)]gevent.joinall(threads) print('Synchronous:') syschronous() print('Asynchronous:') asynchronous() View Code

上面的程序的重要部分是將task函數(shù)封裝到Greenlet內(nèi)部線程的gevent.spawn。初始化的greenlet列表放在數(shù)組threads中，此數(shù)組被傳給gevent.joinall函數(shù)，后者阻塞當(dāng)前流程，并執(zhí)行所有給定的greenlet。執(zhí)行流程只會(huì)在所有g(shù)reenlet執(zhí)行完后才會(huì)繼續(xù)向下走。

遇到IO阻塞時(shí)會(huì)切換任務(wù)之[爬蟲版]

#!/usr/bin/env python # --*- coding:utf8 -*- from urllib import request import gevent,time from gevent import monkey monkey.patch_all() #把當(dāng)前程序中的所有io操作都做上標(biāo)記 def spider(url):print("GET:%s" % url)resp = request.urlopen(url)data = resp.read()print("%s bytes received from %s ..." % (len(data),url)) urls = ["https://www.python.org/","https://www.yahoo.com/","https://github.com/" ] start_time = time.time() for url in urls:spider(url) print("同步耗時(shí)：",time.time() - start_time)async_time_start = time.time() gevent.joinall([gevent.spawn(spider,"https://www.python.org/"),gevent.spawn(spider,"https://www.yahoo.com/"),gevent.spawn(spider,"https://github.com/"), ]) start_time = time.time() for url in urls:spider(url) print("同步耗時(shí)：",time.time() - start_time)async_time_start = time.time() gevent.joinall([gevent.spawn(spider,"https://www.python.org/"),gevent.spawn(spider,"https://www.yahoo.com/"),gevent.spawn(spider,"https://github.com/"), ]) print("異步耗時(shí)",time.time() - async_time_start) View Code

?二、sellect、poll、epoll三者的區(qū)別

select
select最早于1983年出現(xiàn)在4.2BSD中，它通過一個(gè)select()系統(tǒng)調(diào)用來監(jiān)視多個(gè)文件描述符的數(shù)組，當(dāng)select()返回后，該數(shù)組中就緒的文件描述符便會(huì)被內(nèi)核修改標(biāo)志位，使得進(jìn)程可以獲得這些文件描述符從而進(jìn)行后續(xù)的讀寫操作。

select目前幾乎在所有的平臺(tái)上支持，其良好跨平臺(tái)支持也是它的一個(gè)優(yōu)點(diǎn)，事實(shí)上從現(xiàn)在看來，這也是它所剩不多的優(yōu)點(diǎn)之一。

select的一個(gè)缺點(diǎn)在于單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制，在Linux上一般為1024，不過可以通過修改宏定義甚至重新編譯內(nèi)核的方式提升這一限制。

另外，select()所維護(hù)的存儲(chǔ)大量文件描述符的數(shù)據(jù)結(jié)構(gòu)，隨著文件描述符數(shù)量的增大，其復(fù)制的開銷也線性增長。同時(shí)，由于網(wǎng)絡(luò)響應(yīng)時(shí)間的延遲使得大量TCP連接處于非活躍狀態(tài)，但調(diào)用select()會(huì)對(duì)所有socket進(jìn)行一次線性掃描，所以這也浪費(fèi)了一定的開銷。

poll
poll在1986年誕生于System V Release 3，它和select在本質(zhì)上沒有多大差別，但是poll沒有最大文件描述符數(shù)量的限制。

poll和select同樣存在一個(gè)缺點(diǎn)就是，包含大量文件描述符的數(shù)組被整體復(fù)制于用戶態(tài)和內(nèi)核的地址空間之間，而不論這些文件描述符是否就緒，它的開銷隨著文件描述符數(shù)量的增加而線性增大。

另外，select()和poll()將就緒的文件描述符告訴進(jìn)程后，如果進(jìn)程沒有對(duì)其進(jìn)行IO操作，那么下次調(diào)用select()和poll()的時(shí)候?qū)⒃俅螆?bào)告這些文件描述符，所以它們一般不會(huì)丟失就緒的消息，這種方式稱為水平觸發(fā)（Level Triggered）。

epoll
直到Linux2.6才出現(xiàn)了由內(nèi)核直接支持的實(shí)現(xiàn)方法，那就是epoll，它幾乎具備了之前所說的一切優(yōu)點(diǎn)，被公認(rèn)為Linux2.6下性能最好的多路I/O就緒通知方法。

epoll可以同時(shí)支持水平觸發(fā)和邊緣觸發(fā)（Edge Triggered，只告訴進(jìn)程哪些文件描述符剛剛變?yōu)榫途w狀態(tài)，它只說一遍，如果我們沒有采取行動(dòng)，那么它將不會(huì)再次告知，這種方式稱為邊緣觸發(fā)），理論上邊緣觸發(fā)的性能要更高一些，但是代碼實(shí)現(xiàn)相當(dāng)復(fù)雜。

epoll同樣只告知那些就緒的文件描述符，而且當(dāng)我們調(diào)用epoll_wait()獲得就緒文件描述符時(shí)，返回的不是實(shí)際的描述符，而是一個(gè)代表就緒描述符數(shù)量的值，你只需要去epoll指定的一個(gè)數(shù)組中依次取得相應(yīng)數(shù)量的文件描述符即可，這里也使用了內(nèi)存映射（mmap）技術(shù)，這樣便徹底省掉了這些文件描述符在系統(tǒng)調(diào)用時(shí)復(fù)制的開銷。

另一個(gè)本質(zhì)的改進(jìn)在于epoll采用基于事件的就緒通知方式。在select/poll中，進(jìn)程只有在調(diào)用一定的方法后，內(nèi)核才對(duì)所有監(jiān)視的文件描述符進(jìn)行掃描，而epoll事先通過epoll_ctl()來注冊(cè)一個(gè)文件描述符，一旦基于某個(gè)文件描述符就緒時(shí)，內(nèi)核會(huì)采用類似callback的回調(diào)機(jī)制，迅速激活這個(gè)文件描述符，當(dāng)進(jìn)程調(diào)用epoll_wait()時(shí)便得到通知。

轉(zhuǎn)載于:https://www.cnblogs.com/chaishao/p/5957204.html

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的python 基础（十）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。