網(wǎng)絡(luò)編程-之粘包現(xiàn)象

一、什么是粘包

須知：只有TCP有粘包現(xiàn)象，UDP永遠(yuǎn)不會(huì)粘包

粘包不一定會(huì)發(fā)生

如果發(fā)生了：1.可能是在客戶端已經(jīng)粘了

　　　　　　2.客戶端沒(méi)有粘，可能是在服務(wù)端粘了

首先需要掌握一個(gè)socket收發(fā)消息的原理

應(yīng)用程序所看到的數(shù)據(jù)是一個(gè)整體，或說(shuō)是一個(gè)流（stream），一條消息有多少字節(jié)對(duì)應(yīng)用程序是不可見(jiàn)的，因此TCP協(xié)議是面向流的協(xié)議，這也是容易出現(xiàn)粘包問(wèn)題的原因。（因?yàn)門CP是流式協(xié)議，不知道啥時(shí)候開(kāi)始，啥時(shí)候結(jié)束）。而UDP是面向消息的協(xié)議，每個(gè)UDP段都是一條消息，應(yīng)用程序必須以消息為單位提取數(shù)據(jù)，不能一次提取任意字節(jié)的數(shù)據(jù)，這一點(diǎn)和TCP是很不同的。怎樣定義消息呢？可以認(rèn)為對(duì)方一次性write/send的數(shù)據(jù)為一個(gè)消息，需要明白的是當(dāng)對(duì)方send一條信息的時(shí)候，無(wú)論底層怎樣分段分片，TCP協(xié)議層會(huì)把構(gòu)成整條消息的數(shù)據(jù)段排序完成后才呈現(xiàn)在內(nèi)核緩沖區(qū)。

所謂粘包問(wèn)題主要還是因?yàn)榻邮辗讲恢老⒅g的界限，不知道一次性提取多少字節(jié)的數(shù)據(jù)所造成的。

二、發(fā)生粘包的兩種情況

發(fā)送端需要等緩沖區(qū)滿才發(fā)送出去，造成粘包（發(fā)送數(shù)據(jù)時(shí)間間隔很短，數(shù)據(jù)了很小，會(huì)當(dāng)做一個(gè)包發(fā)出去，產(chǎn)生粘包）

1 from socket import *2 phone = socket(AF_INET,SOCK_STREAM)3 phone.setsockopt(SOL_SOCKET,SOCK_STREAM,1)4 phone.bind(('127.0.0.1',8080))5 phone.listen(5)6 print('start running...')7 8 coon,addr = phone.accept() #等待連接9 10 data1 = coon.recv(10) 11 data2 = coon.recv(10) 12 13 print('------------>',data1.decode('utf-8')) 14 print('------------>',data2.decode('utf-8')) 15 coon.close() 16 phone.close() 服務(wù)端 1 from socket import * 2 import time 3 phone = socket(AF_INET,SOCK_STREAM) 4 phone.connect(('127.0.0.1',8080)) 5 6 phone.send('hello'.encode('utf-8')) 7 phone.send('helloworld'.encode('utf-8')) 8 phone.close() 客戶端

接收方不及時(shí)接收緩沖區(qū)的包，造成多個(gè)包接收（客戶端發(fā)送了一段數(shù)據(jù)，服務(wù)端只收了一小部分，服務(wù)端下次再收的時(shí)候還是從緩沖區(qū)拿上次遺留的數(shù)據(jù)，產(chǎn)生粘包）?

1 from socket import *2 phone = socket(AF_INET,SOCK_STREAM)3 phone.setsockopt(SOL_SOCKET,SOCK_STREAM,1)4 phone.bind(('127.0.0.1',8080))5 phone.listen(5)6 print('start running...')7 8 coon,addr = phone.accept() #等待連接9 10 data1 = coon.recv(2) #一次沒(méi)有接收完整 11 data2 = coon.recv(10) #下一次接收的時(shí)候會(huì)先取舊的數(shù)據(jù),然后取新的 12 # data3 = coon.recv(1024) #接收等5秒后的信息 13 print('------------>',data1.decode('utf-8')) 14 print('------------>',data2.decode('utf-8')) 15 # print('------------>',data3.decode('utf-8')) 16 coon.close() 17 phone.close() 服務(wù)端 1 from socket import * 2 import time 3 phone = socket(AF_INET,SOCK_STREAM) 4 phone.connect(('127.0.0.1',8080)) 5 6 phone.send('hello'.encode('utf-8')) 7 time.sleep(5) 8 phone.send('haiyan'.encode('utf-8')) 9 phone.close() 客戶端

三、解決粘包的方法

問(wèn)題的根源在于，接收端不知道發(fā)送端將要傳送的字節(jié)流的長(zhǎng)度，所以解決粘包的方法就是圍繞，如何讓發(fā)送端在發(fā)送數(shù)據(jù)前，把自己將要發(fā)送的字節(jié)流總大小讓接收端知曉，然后接收端來(lái)一個(gè)死循環(huán)接收完所有數(shù)據(jù)

1 import socket2 import subprocess3 import struct4 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機(jī)5 phone.bind(('127.0.0.1',8080)) #綁定手機(jī)卡6 phone.listen(5) #阻塞的最大數(shù)7 print('start runing.....')8 while True: #鏈接循環(huán)9 coon,addr = phone.accept()# 等待接電話 10 print(coon,addr) 11 while True: #通信循環(huán) 12 # 收發(fā)消息 13 cmd = coon.recv(1024) #接收的最大數(shù) 14 print('接收的是：%s'%cmd.decode('utf-8')) 15 #處理過(guò)程 16 res = subprocess.Popen(cmd.decode('utf-8'),shell = True, 17 stdout=subprocess.PIPE, #標(biāo)準(zhǔn)輸出 18 stderr=subprocess.PIPE #標(biāo)準(zhǔn)錯(cuò)誤 19 ) 20 stdout = res.stdout.read() 21 stderr = res.stderr.read() 22 #先發(fā)報(bào)頭(轉(zhuǎn)成固定長(zhǎng)度的bytes類型，那么怎么轉(zhuǎn)呢？就用到了struct模塊) 23 #len(stdout) + len(stderr)#統(tǒng)計(jì)數(shù)據(jù)的長(zhǎng)度 24 header = struct.pack('i',len(stdout)+len(stderr))#制作報(bào)頭 25 coon.send(header) 26 #再發(fā)命令的結(jié)果 27 coon.send(stdout) 28 coon.send(stderr) 29 coon.close() 30 phone.close() 服務(wù)端 1 import socket2 import struct3 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)4 phone.connect(('127.0.0.1',8080)) #連接服5 while True:6 # 發(fā)收消息7 cmd = input('請(qǐng)你輸入命令>>：').strip()8 if not cmd:continue9 phone.send(cmd.encode('utf-8')) #發(fā)送 10 #先收?qǐng)?bào)頭 11 header_struct = phone.recv(4) #收四個(gè) 12 unpack_res = struct.unpack('i',header_struct) 13 total_size = unpack_res[0] #總長(zhǎng)度 14 #后收數(shù)據(jù) 15 recv_size = 0 16 total_data=b'' 17 while recv_size<total_size: #循環(huán)的收 18 recv_data = phone.recv(1024) #1024只是一個(gè)最大的限制 19 recv_size+=len(recv_data) # 20 total_data+=recv_data # 21 print('返回的消息：%s'%total_data.decode('gbk')) 22 phone.close() 客戶端

四、解決粘包問(wèn)題升級(jí)版：完整的解決了

1 import socket2 import subprocess3 import struct4 import json5 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機(jī)6 phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)7 phone.bind(('127.0.0.1',8080)) #綁定手機(jī)卡8 phone.listen(5) #阻塞的最大數(shù)9 print('start runing.....') 10 while True: #鏈接循環(huán) 11 coon,addr = phone.accept()# 等待接電話 12 print(coon,addr) 13 while True: #通信循環(huán) 14 # 收發(fā)消息 15 cmd = coon.recv(1024) #接收的最大數(shù) 16 print('接收的是：%s'%cmd.decode('utf-8')) 17 #處理過(guò)程 18 res = subprocess.Popen(cmd.decode('utf-8'),shell = True, 19 stdout=subprocess.PIPE, #標(biāo)準(zhǔn)輸出 20 stderr=subprocess.PIPE #標(biāo)準(zhǔn)錯(cuò)誤 21 ) 22 stdout = res.stdout.read() 23 stderr = res.stderr.read() 24 # 制作報(bào)頭 25 header_dic = { 26 'total_size': len(stdout)+len(stderr), # 總共的大小 27 'filename': None, 28 'md5': None 29 } 30 header_json = json.dumps(header_dic) #字符串類型 31 header_bytes = header_json.encode('utf-8') #轉(zhuǎn)成bytes類型(但是長(zhǎng)度是可變的) 32 #先發(fā)報(bào)頭的長(zhǎng)度 33 coon.send(struct.pack('i',len(header_bytes))) #發(fā)送固定長(zhǎng)度的報(bào)頭 34 #再發(fā)報(bào)頭 35 coon.send(header_bytes) 36 #最后發(fā)命令的結(jié)果 37 coon.send(stdout) 38 coon.send(stderr) 39 coon.close() 40 phone.close() 服務(wù)端 1 import socket2 import struct3 import json4 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)5 phone.connect(('127.0.0.1',8080)) #連接服務(wù)器6 while True:7 # 發(fā)收消息8 cmd = input('請(qǐng)你輸入命令>>：').strip()9 if not cmd:continue 10 phone.send(cmd.encode('utf-8')) #發(fā)送 11 #先收?qǐng)?bào)頭的長(zhǎng)度 12 header_len = struct.unpack('i',phone.recv(4))[0] #吧bytes類型的反解 13 #在收?qǐng)?bào)頭 14 header_bytes = phone.recv(header_len) #收過(guò)來(lái)的也是bytes類型 15 header_json = header_bytes.decode('utf-8') #拿到j(luò)son格式的字典 16 header_dic = json.loads(header_json) #反序列化拿到字典了 17 total_size = header_dic['total_size'] #就拿到數(shù)據(jù)的總長(zhǎng)度了 18 #最后收數(shù)據(jù) 19 recv_size = 0 20 total_data=b'' 21 while recv_size<total_size: #循環(huán)的收 22 recv_data = phone.recv(1024) #1024只是一個(gè)最大的限制 23 recv_size+=len(recv_data) #有可能接收的不是1024個(gè)字節(jié)，或許比1024多呢， 24 # 那么接收的時(shí)候就接收不全，所以還要加上接收的那個(gè)長(zhǎng)度 25 total_data+=recv_data #最終的結(jié)果 26 print('返回的消息：%s'%total_data.decode('gbk')) 27 phone.close() 客戶端

五、struct模塊

1 #該模塊可以把一個(gè)類型，如數(shù)字，轉(zhuǎn)成固定長(zhǎng)度的bytes類型2 import struct3 res = struct.pack('i',12345)4 print(res,len(res),type(res)) #長(zhǎng)度是45 6 res2 = struct.pack('i',12345111)7 print(res,len(res),type(res2)) #長(zhǎng)度也是48 9 unpack_res =struct.unpack('i',res2) 10 print(unpack_res) #(12345111,) 11 print(unpack_res[0]) #12345111 struct

轉(zhuǎn)載于:https://www.cnblogs.com/morgana/p/8491269.html

總結(jié)

以上是生活随笔為你收集整理的网络编程-之粘包现象的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。