一、前言

去年9月份的時(shí)候我看到過(guò)外國(guó)朋友關(guān)于.NET Framework下HttpClient缺陷的分析后對(duì)HttpClient有了一定的了解。前幾日也有園友寫了一篇關(guān)于HttpClient的分析文章,?于是我想深入探索一下在.NET下使用HTTP請(qǐng)求的正確姿勢(shì)。姿勢(shì)不是越多越好,?而在于精不精。如果不深入了解,?小朋友可能會(huì)這樣想:?啊,?這個(gè)姿勢(shì)不High,?那我換一個(gè)吧, 殊不知那一個(gè)姿勢(shì)也有問(wèn)題啊,?親。

中文版:?https://oschina.net/news/77036/httpclient

英文版:?https://www.infoq.com/news/2016/09/HttpClient

張大大版:?http://www.cnblogs.com/lori/p/7692152.html

?

二、準(zhǔn)備好床和各種姿勢(shì)

1. 研究姿勢(shì)必然是要先準(zhǔn)備好支撐點(diǎn),?作為一個(gè)傳統(tǒng)的人, 還是比較喜歡床。

.NET Framework, .NET CORE Windows, .NET CORE Linux, .NET CORE Mac

2. 姿勢(shì)有以下幾種,?如果小朋友們有各特別的可以告訴我呀,?我很樂(lè)于嘗試的。

HttpClient, WebClient, HttpWebRequest

?

三、讓我們大干一場(chǎng)吧

Windows下統(tǒng)計(jì)端口使用的命令: netstat -ano | find "{port}" /c?

Linux?下統(tǒng)計(jì)端口使用的命令:??netstat -nat|grep -i "{port}"|wc -l

?

HttpWebRequest 測(cè)試代碼如下

class Program{ ? ? ? ?static void Main(string[] args){Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ? ? ?var webRequest = (HttpWebRequest)WebRequest.CreateHttp("http://"); ? ? ? ? ? ? ? ? ? ?var response = webRequest.GetResponse();response.Dispose();Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpWebRequest	2	迅速攀升到1000+	性能很差,?攀升到70+并穩(wěn)定

?

WebClient因?yàn)橛蠭Disposable接口,?于是我做兩份測(cè)試

static void Main(string[] args){Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ? ? ?using (WebClient client = new WebClient()){client.DownloadString("http://");Console.WriteLine($"Process: {i}.");}Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
WebClient	?2	迅速攀升到1000+	性能較差,?攀升到400+穩(wěn)定

static void Main(string[] args){Parallel.For(0, 10, (i) =>{WebClient client = new WebClient(); ? ? ? ? ? ? ? ?while (true){client.DownloadString("http://");Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}

	?.NET Framework	?.NET Core Windows	?.NET Core Linux	?.NET Core Mac
?WebClient	?2	?迅速攀升到1000+	?迅速攀升到1000+

?

HttpClient有IDisposable接口,?也做兩份測(cè)試

static void Main(string[] args){Parallel.For(0, 10, (i) =>{HttpClient client = new HttpClient(); ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ?
? ?var html = client.GetStringAsync("http://").Result;Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpClient	10	10	10

?

static void Main(string[] args){Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ?
while (true){ ? ? ? ? ? ? ? ? ?
?using (HttpClient client = new HttpClient()){ ? ? ? ? ? ? ? ? ? ?
? ?var html = client.GetStringAsync("http://").Result;Console.WriteLine($"Process: {i}.");}Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpClient	迅速攀升到1000+	迅速攀升到1000+	性能較差, 攀升到200+

??

結(jié)論

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpWebRequest	OK	Abnormal	Abnormal
WebClient	OK	Abnormal	Abnormal
HttpClient(每個(gè)線程一個(gè)對(duì)象)	OK	OK	OK
HttpClient(using)	Abnormal	Abnormal	Abnormal

??

有意思的細(xì)節(jié)與疑問(wèn)

1. WebClient和HttpWebRequest為什么在10個(gè)線程下端口數(shù)為2并且都為2

2.?Linux下并行性能明顯變差

?

四、追根溯源

下載.net45源碼和corefx源碼

http://referencesource.microsoft.com/?右上角Download

https://github.com/dotnet/corefx

?

1.?分析.NET Core下WebClient的代碼,?發(fā)現(xiàn)它是使用WebRequest即HttpWebRequest來(lái)請(qǐng)求數(shù)據(jù)

?

2.?分析.NET Core下HttpWebRequest的代碼找到SendRequest方法

熟悉嗎?!!原來(lái).NET Core一切的根源都出在HttpClient身上...

?

3.?順著HttpClient代碼我們可以發(fā)現(xiàn),?微軟為Windows, Unix各自實(shí)現(xiàn)了WinHttpHandler和CurlHandler,?猜測(cè)Uniux下使用的是Curl.?最終確實(shí)能查到Windows下是DLLImport了winhttp.dll,?但Unix系統(tǒng)是DLLImport的?System.Net.Http.Native,?這是個(gè)什么我暫時(shí)不清楚,?也不清楚它跟curl的關(guān)系,?也許是一個(gè)中轉(zhuǎn)調(diào)用。

?

4.?我們?cè)倩剡^(guò)頭來(lái)看.NET Framework下為什么HttpWebRequest和WebClient是正常的, WebClient依然是使用的HttpWebRequest,?因此推斷.NET Framework的HttpWebRequest的實(shí)現(xiàn)與.NET Core是不一致的。簡(jiǎn)單的查找代碼,?果然每一個(gè)Http請(qǐng)求是由ServicePointManager管理的ServicePoint來(lái)實(shí)現(xiàn)的,?并且ServicePoint是使用.NET下Socket來(lái)實(shí)現(xiàn)的,?一切就明了了。現(xiàn)在對(duì)剛才說(shuō)的 “WebClient和HttpWebRequest為什么在10個(gè)線程下端口數(shù)為2并且都為2”有感覺(jué)了吧？我們把剛才的測(cè)試代碼再加上一行

static void Main(string[] args){ServicePointManager.DefaultConnectionLimit = 10;Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ? ? ?var webRequest = (HttpWebRequest)WebRequest.CreateHttp("http://www.ooodata.com:5000"); ? ? ? ? ? ? ? ? ? ?var response = webRequest.GetResponse();response.Dispose();Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET core Linux	.NET Core Mac
HttpWebRequest	10	迅速攀升到1000+	性能很差,?攀升到70+并穩(wěn)定

?

?

大家看.NET Core下雖然可以設(shè)置?ServicePointManager.DefaultConnectionLimit = 10;?但是依然沒(méi)什么卵用...? 原因也很明顯, HttpWebRequest根本沒(méi)有使用ServicePointManager做管理。在我查了源碼后雖然.NET Core實(shí)現(xiàn)了ServicePointManager和ServicePoint,?不過(guò)已經(jīng)遷到另外一個(gè)項(xiàng)目下面,?也未發(fā)現(xiàn)有什么作用。所以大家千萬(wàn)要注意，不要以為在.NET Core可以設(shè)置ServicePointManager.DefaultConnectionLimit這個(gè)值了,?就以為.NET Framework下的效果會(huì)一致(?其它地方同理)

?

5. HttpClient在.NET Framework下的代碼我沒(méi)有找到, ILSpy也查看不了,?但猜想應(yīng)該是和.NET Core下一致的,?所以才會(huì)有一樣的表象,?有大神知道的可以告訴我一下。

?

五、好累啊,?終于交差了,?就是不知道滿足不滿足

1.?在.NET Framework下盡量使用HttpWebRequest或者WebClient,?并且根據(jù)你自己的多線程情況設(shè)置?ServicePointManager.DefaultConnectionLimit的值,?以及ThreadPool.SetMinThreads(200, 200)的值

2.?在.NET Framework下如果一定要使用HttpClient,?一個(gè)線程使用一個(gè)HttpClient對(duì)象,?這樣不會(huì)出現(xiàn)端口被耗盡的情況

3.?在.NET Core 2.0下只有HttpClient一條路選,?一個(gè)線程使用一個(gè)HttpClient對(duì)象,?當(dāng)然也許我們可以參照.NET Framework下的代碼重新實(shí)現(xiàn)一個(gè)ServicePointManager管理的HttpWebRequest,?這是后話了

?

六、抽一根煙吧

1. 大膽猜想一下,?微軟應(yīng)該是趕進(jìn)度才偷懶使用HttpClient來(lái)實(shí)現(xiàn)HttpWebRequest導(dǎo)致的吧。

2. Linux并行性能好像差很多,?原因不明,?請(qǐng)聽(tīng)下回分解

3.?這也就是開源的魅力所在了吧!?我們可以順藤摸瓜,?查明真相。讓我們一起為.NET Core的開源事業(yè)奉獻(xiàn)自己的一份力吧(其實(shí)我只是不想丟飯碗好吧:::)

4.?如果有說(shuō)錯(cuò)請(qǐng)指正,?不接受漫罵

5.?歡迎各路大神和作品加入 https://github.com/dotnetcore (中國(guó) .net core?開源小分隊(duì))

6.?月收入低于3萬(wàn)的也是程序員!!!!

原文地址：http://www.cnblogs.com/modestmt/p/7724821.html

---

.NET社區(qū)新聞，深度好文，微信中搜索dotNET跨平臺(tái)或掃描二維碼關(guān)注

總結(jié)

以上是生活随笔為你收集整理的.NET下使用HTTP请求的正确姿势的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。