IO multiplexing(IO多路復用)

IO多路復用，有些地方稱之為event driven IO（事件驅動IO）。
它的好處在于單個進程可以處理多個網(wǎng)絡IO請求。select/epoll這兩個是函數(shù)，它會不斷輪詢所有的socket，直到某個socket就緒有數(shù)據(jù)可達，就會通知用戶進程，當用戶進程調用了select函數(shù)，select是一個阻塞方法，會把進程阻塞住，同時會監(jiān)聽所有select負責的socket，當任何一個socket中的數(shù)據(jù)準備好了，select就會返回。這個時候用戶進程再調用readRecv操作，將數(shù)據(jù)從內核拷貝到用戶進程。

select雖然是阻塞的，但是它的優(yōu)勢在于它可以用一個進程處理多個連接，這個利用非阻塞的輪詢方式是無法實現(xiàn)的，當連接數(shù)增多時優(yōu)勢就明顯，而對于單個連接則跟同步IO區(qū)別不大甚至性能還要更低。
select,poll,epoll都是IO多路復用的機制，IO多路復用就是通過機制用一個進程監(jiān)視多個描述符，一旦某個描述符就緒（可讀或者可寫或者異常），能夠通知進程進行響應的操作。但是select，poll，epoll本質上是同步IO，因為他們都需要在讀寫事件就緒后自己負責讀寫，這個過程是阻塞的。

學習python中有什么不懂的地方，小編這里推薦加小編的python學習群：895 817 687有任何不懂的都可以在里面交流，還有很好的視頻教程pdf學習資料，大家一起學習交流！

下面用Python的socket編程模擬IO多路復用（IO多路復用+回調+事件循環(huán)）

class Fetcher:def connected(self, key):selector.unregister(key.fd)self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host).encode('utf-8'))selector.register(self.con.fileno(), EVENT_READ, self.read)def read(self, key):d = self.con.recv(1024)if d:print(d)self.data += delse:selector.unregister(key.fd)self.data = self.data.decode('utf-8')html_data = self.data.split('\r\n\r\n')[1]print(html_data)self.con.close()def get_url(self, url):...self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM)self.con.setblocking(False)#設置非阻塞try:self.con.connect((self.host, 80))except BlockingIOError as e:passselector.register(self.con.fileno(), EVENT_WRITE, self.connected)

過程：發(fā)送一個socket請求設置為非阻塞，在select函數(shù)中注冊事件，self.con.fileno表示當前連接在進程中的描述符，EVENT_WRITE表示socket準備是否就緒，self.connected為回調函數(shù)，準備完成后就調用。selector.unregister(key.fd)取消注冊，發(fā)送HTTP請求，再調用selector.register(self.con.fileno(), EVENT_READ, self.read)注冊，若當前請求內容可讀，則調用read回調函數(shù)讀取出響應內容。

注明：在windows下會調用select函數(shù)，而在linux/unix下則會調用epoll函數(shù)

完整代碼如下：

import socket from urllib.parse import urlparse from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE selector = DefaultSelector()class Fetcher:def connected(self, key):selector.unregister(key.fd)self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host).encode('utf-8'))selector.register(self.con.fileno(), EVENT_READ, self.read)def read(self, key):d = self.con.recv(1024)if d:print(d)self.data += delse:selector.unregister(key.fd)self.data = self.data.decode('utf-8')html_data = self.data.split('\r\n\r\n')[1]print(html_data)self.con.close()def get_url(self, url):url = urlparse(url)self.host = url.netlocself.path = url.pathself.data = b''if self.path == "":self.path = '/'self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM)self.con.setblocking(False)try:self.con.connect((self.host, 80))except BlockingIOError as e:pass#注冊selector.register(self.con.fileno(), EVENT_WRITE, self.connected)def loop():while True:ready = selector.select()for key, mask in ready:callback = key.datacallback(key)if __name__ == '__main__':fetcher = Fetcher()fetcher.get_url('http://www.baidu.com')loop()

總結

以上是生活随笔為你收集整理的IO多路复用select/poll/epoll详解以及在Python中的应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。