之前也寫(xiě)了一些簡(jiǎn)單的Python程序，對(duì)于多線(xiàn)程的并發(fā)一直沒(méi)有涉及，今天決定先突破一下，把這個(gè)部分的內(nèi)容先快速的掌握，然后在這個(gè)基礎(chǔ)上細(xì)化改進(jìn)。

我的好友冰川擅長(zhǎng)Python技術(shù)，所以就拿來(lái)主義，參考了他的文章。

Python的程序性能一直受到詬病，但是功能，擴(kuò)展性上還是具有很大的優(yōu)勢(shì)，程序中有一部分的概念就是并發(fā)，多線(xiàn)程相關(guān)的，所以我們也算是大躍進(jìn)一下。

說(shuō)到Python的性能，GIL是需要了解的，這是一個(gè)全局解釋器鎖，保證在同一時(shí)刻只有一個(gè)線(xiàn)程在運(yùn)行，在保證線(xiàn)程安全的同時(shí)，性能上會(huì)受到一定的影響。我們簡(jiǎn)單來(lái)做一個(gè)案例，在上面的文章中已經(jīng)有了，我們簡(jiǎn)單改一下。測(cè)試一把。

首先要準(zhǔn)備一個(gè)文件urls.txt

比如我的技術(shù)博客，我隨便選擇了兩篇文章的下標(biāo)，然后就可以循環(huán)生成一大批的urls.txt內(nèi)容來(lái)。

for i in {2101076..2148323}

do

echo "http://blog.itpub.net/23718752/viewspace-"$i

done

要測(cè)試url的信息，我們需要引入一個(gè)模塊requests,通過(guò)發(fā)送請(qǐng)求來(lái)得到反饋的結(jié)果，如果是在200,300這樣的狀態(tài)值，就說(shuō)明是可訪問(wèn)的，否則就是不可方案問(wèn)。

需要注意的地方或者是一些小技巧，我們可以使用strip()來(lái)得到一個(gè)串

>>> "http://www.jeanron100.com".strip()

'http://www.jeanron100.com'

，然后使用requests.get方法來(lái)得到結(jié)果值

>>> requests.get('http://www.baidu.com')

最終的狀態(tài)值可以使用status_code屬性來(lái)得到。

>>> requests.get('http://www.baidu.com').status_code

200

明白了這些要點(diǎn)，Python程序就會(huì)容易很多。

直接附上源程序：

#!/usr/bin/evn python

import requests

import time

def get_site_code(url):

r = requests.get(url)

status = r.status_code

line = url +? ' ' + str(status)

with open('/tmp/site_stauts.txt', 'a+') as f:

f.writelines(line + '\n')

if __name__ == '__main__':

print 'starting at:', time.ctime()

for url in open('urls.txt'):

url = url.strip()

get_site_code(url)

print 'Done at:', time.ctime()

整個(gè)過(guò)程，大概耗時(shí)37秒鐘,urls大概是30多個(gè)。

# python a.pl

starting at: Wed Dec? 6 07:00:34 2017

Done at: Wed Dec? 6 07:01:11 2017

我們?cè)賮?lái)看看多線(xiàn)程的部分，毫無(wú)疑問(wèn)，我們需要一個(gè)線(xiàn)程相關(guān)的模塊，在這里就是threading

我們可以直接開(kāi)啟多個(gè)線(xiàn)程，不做線(xiàn)程的粒度控制，比如現(xiàn)在有30個(gè)請(qǐng)求，直接就是30個(gè)線(xiàn)程，暫時(shí)沒(méi)有做成線(xiàn)程池的那種模式，初始化的時(shí)候，可以使用如下的方式來(lái)初始化線(xiàn)程。

threading.Thread(target=get_site_code, args=(url,))

使用start方法啟動(dòng)線(xiàn)程

threads[i].start()

如果一個(gè)線(xiàn)程在執(zhí)行過(guò)程中要調(diào)用另外一個(gè)線(xiàn)程，需要等到它完成以后才能接著執(zhí)行，在這里就是join方法。

threads[i].join()

源程序如下：

#!/usr/bin/evn python

import requests

import time

import threading

def get_site_code(url):

r = requests.get(url)

status = r.status_code

line = url +? ' ' + str(status)

with open('/tmp/site_stauts.txt', 'a+') as f:

f.writelines(line + '\n')

if __name__ == '__main__':

print 'starting at:', time.ctime()

threads = []

for url in open('urls.txt'):

url = url.strip()

t = threading.Thread(target=get_site_code, args=(url,))

threads.append(t)

for i in range(len(threads)):

threads[i].start()

for i in range(len(threads)):

threads[i].join()

print 'Done at:', time.ctime()

使用了多線(xiàn)程之后，耗時(shí)大概是3秒鐘，提高了10多倍，收益還是很大的。

# python b.pl

starting at: Wed Dec? 6 07:24:36 2017

Done at: Wed Dec? 6 07:24:39 2017

隨后會(huì)考慮從其他的角度來(lái)持續(xù)的改進(jìn)，改進(jìn)的空間依舊很大。

個(gè)人微信公眾號(hào)，歡迎掃碼關(guān)注。

總結(jié)

以上是生活随笔為你收集整理的python多线程并发写入_Python多线程并发的简单测试的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。