該樓層疑似違規(guī)已被系統(tǒng)折疊 隱藏此樓查看此樓

#coding:utf-8

import urllib2

import urllib

import random

name=raw_input('請(qǐng)輸入要爬取的貼吧名稱：')

nume=input('輸入要爬取的頁數(shù)：')

#############################################

ip_list=['42.234.118.56:8118','175.154.50.127:8118','122.238.51.210:8118']

proxy=urllib2.ProxyHandler({'http':random.choice(ip_list)})

opener=urllib2.build_opener(proxy)

###############################################

user_list = ['Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2979.2 Safari/537.36']

headers = {'User-Agent':random.choice(user_list)}

############################################

x=0

for page in range(0,nume):

print '正在爬取第%s頁...'%(page+1)

url='https://tieba.baidu.com/f?kw=%s&pn=%s'%(name,x)

x=x+50

values={}

data=urllib.urlencode(values)

print url

request=urllib2.Request(url,data,headers)

response=opener.open(request)

# print response.read().decode('utf-8')

html=response.read().decode('utf-8')

f=open(('%s_%s.html'%(name,(page+1))).decode('utf-8'),'w')

f.write(html.encode('utf-8'))

f.close()

總結(jié)

以上是生活随笔為你收集整理的python如何注释掉一段代码_爬取出来的网页代码都被注释掉怎么解决？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。