問題描述

我在進(jìn)行多線程編程時(shí)使用如下方代碼，當(dāng)輸入一般print()等簡(jiǎn)單函數(shù)時(shí)均正常，

但是一旦為調(diào)用我自己的函數(shù)時(shí)運(yùn)行就會(huì)出現(xiàn) : raise ValueError(“Pool not running”) ValueError: Pool not running

問題出現(xiàn)的環(huán)境背景及自己嘗試過哪些方法

我是在做爬蟲，想用多進(jìn)程增加效率 多進(jìn)程的Func里放的是取頁面ID的函數(shù)

我在網(wǎng)上查找時(shí)有說是pool.close(),pool.join()縮進(jìn)的原因，但是我試過好像還是沒解決。

而且已知我的main函數(shù)有兩個(gè)for循環(huán)，當(dāng)我的縮進(jìn)為最外層循環(huán)時(shí)，程序不是被join()阻塞等待運(yùn)行完成,而是會(huì)繼續(xù)生成進(jìn)程運(yùn)行程序，生成數(shù)會(huì)超過我的Pool=5的最大限制。

對(duì)多進(jìn)程編程還是初學(xué)，希望能夠有遇見過的指點(diǎn)一下。謝謝！

相關(guān)代碼

// 請(qǐng)把代碼文本粘貼到下方(請(qǐng)勿用圖片代替代碼)

def getPageId(jobname,joburl):

print('程序啟動(dòng)')

db = pymysql.connect(host='localhost', port=3306, user='root', passwd='', db='test', charset='utf8')

cursor = db.cursor()

url = 'https://www.lagou.com/jobs/positionAjax.json?'

PageId = []

proxeys = RdProxeys()

n = 0

print(jobname)

# for i in range(len(jobname)):

for j in range(1, 31): # 每頁固定頁數(shù)：30

datas['pn'] = j

# datas['kd'] = jobname[i]

datas['kd'] = jobname

# 設(shè)置防盜鏈

# headers1['Referer'] = parse.quote(joburl[i])

headers1['Referer'] = parse.quote(joburl)

print(datas)

rdtime = random.randint(3, 10)

print('sleep ' + str(rdtime) + ' sec')

time.sleep(rdtime)

print(proxeys)

req = requests.post(url, headers=headers1, data=datas, proxies=proxeys)

# print(type(req.json()['success']))

if req.json()['success'] is bool('true'):

# print(req.text)

n = n + 1

content = req.json()['content']['hrInfoMap']

# print(content)

for key in content.keys():

# print(key)

PageId.append(key)

else:

print(req.json())

if n < 5:

DelProxeys(proxeys['http'])

proxeys = RdProxeys()

n = 0

time.sleep(10)

cntsql = 'select count(proxeys_body) from proxeys'

cursor.execute(cntsql)

(cnt,) = cursor.fetchone()

while int(str(cnt)) < 20:

time.sleep(300)

cursor.execute(cntsql)

(cnt,) = cursor.fetchone()

else:

proxeys = RdProxeys()

n = 0

time.sleep(10)

print('-----------------Error, The Pn is ' + str(j) + '----------------------')

with open('E:\\vscode_work\\CareerPython\\Lagou\' + 'PageId_log' + '.txt', 'a') as f:

f.write(str(j)+','+jobname[i]+','+joburl[i]+'\n')

pass

# print(PageId)

with open('E:\\vscode_work\\CareerPython\\Lagou\' + 'PageId' + '.txt', 'a') as f:

f.write(str(PageId))

print('當(dāng)前共記錄數(shù)據(jù)' + str(len(PageId)))

def main():

pool = Pool(processes=5) ? # set the processes max number 3

for i in range(0, len(data()[0])):

for j in range(0,len(data()[0][i]))

pool.apply_async(getPageId, (data()[0][i][j], data()[1][i][j]))

pool.close()

pool.join()

if name == “__main__”:

main()

你期待的結(jié)果是什么？實(shí)際看到的錯(cuò)誤信息又是什么？

我將數(shù)據(jù)分組為5個(gè)一組輸入 getpageid方法，期待能夠?qū)崿F(xiàn)5個(gè)進(jìn)程并行運(yùn)行程序，一組數(shù)據(jù)完了以后for循環(huán)驅(qū)動(dòng)下一組數(shù)據(jù)輸入繼續(xù)運(yùn)行。

結(jié)果總是發(fā)起5個(gè)進(jìn)程后就出現(xiàn)raise ValueError(“Pool not running”) ValueError: Pool not running

總結(jié)

以上是生活随笔為你收集整理的python raise valueerror_请教：Python多进程编程时出现raise ValueError(Pool not running) 为什么?。...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。