該樓層疑似違規已被系統折疊?隱藏此樓查看此樓

今天河馬http給大家說一下，淘寶上的圖片是怎么被爬取的。我們先打開淘寶，輸入我們要抓取的圖片的關鍵詞，研究分析一下頁面，查找所需信息所在的位置，然后開始爬取。

代碼如下：

import os

import re

import urllib.request

import requests

def getHtml(url,headers):

# 河馬代理設置

proxy = urllib.request.ProxyHandler({'http': '115.213.177.144:4223'})

opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)

urllib.request.install_opener(opener)

opener.addheaders = [headers] # 列表

data = urllib.request.urlopen(url).read().decode('utf-8', 'ignore')

pat='"pic_url":"(.*?)"'

imgUrls=re.findall(pat,data)

return data,imgUrls

if __name__=='__main__':

keyword='關鍵詞信息'

#quote編碼

keyword=urllib.request.quote(keyword)

pageString='0'

url='目標網址'+pageString

headers = ('User-Agent','agent信息')

data = getHtml(url,headers)[0]

print(data)

pat='"totalPage":(.*?),'

totalPage=int(re.findall(pat,data)[1])

print(totalPage)

path = os.path.join(os.getcwd(), 'img')

os.makedirs(path)

for page in range(totalPage):

pathpage = os.path.join(path, '第'+str(page+1)+'頁')

os.makedirs(pathpage)

pageString=str(page*44)

url = '目標網址' + pageString

imgUrls=getHtml(url, headers)[1]

for i in range(1, len(imgUrls)):

try:

url='http:'+imgUrls[i]

print(url)

fileurl=pathpage+'/'+str(i)+'.jpg'

r=requests.get(url)

with open(fileurl,"wb") as f:

f.write(r.content)

except :

print('**** off')

通過上述代碼，我們就可以獲取到淘寶上的相關圖片信息了。河馬HTTP為您提供安全穩定、高效便捷的爬蟲代理IP服務，更多問題請點擊官網咨詢客服。

總結

以上是生活随笔為你收集整理的python爬虫淘宝评论图片_淘宝上的图片是怎么被爬取的的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。