花瓣網是個瀑布式布局，而且下拉的時候發現要登錄帳號。本來以為要用requests.post模擬登錄，能夠順手練習一下的，結果不登陸帳號也照樣可以爬取。一開始是打算用selenium的，后來運行的過程中發現太慢了，遂改用requests庫。

import requests

from requests.exceptions import RequestException

import re

import os

from hashlib import md5

from multiprocessing.dummy import Pool as ThreadPool

def get_pictures(word, i):

url = 'http://huaban.com/search/?q=' + word + '&page=' + str(i + 1) + '&per_page=20&wfl=1'

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.34 '

'40.84 Safari/537.36'

}

response = requests.get(url, headers=headers)

if response.status_code == 200:

html = response.text

# 獲得圖片的key

re_key = re.compile('file\":.*?key\":\"(.*?)\"', re.S)

key_list = re.findall(re_key, html)[1:21]

for img in key_list:

download_img(img)

def download_img(img):

url = 'http://img.hb.aicdn.com/' + img

print('Downloding:', url)

try:

response = requests.get(url)

if response.status_code == 200:

save_image(response.content)

except RequestException:

print('Downloading Error!')

def save_image(content):

file_path = '{0}/{1}.jpg'.format('D:\Flower', md5(content).hexdigest())

if not os.path.exists(file_path):

with open(file_path, 'wb') as f:

f.write(content)

def main(index):

keyword = '寶兒姐'

get_pictures(keyword, index)

if __name__ == '__main__':

# log_in()

page = 5

group = [x for x in range(0, page)]

pool = ThreadPool(8)

pool.map(main, group)

pool.close()

pool.join()

代碼量不多，邏輯也不復雜，主要的就是對花瓣網分析，抓取圖片的key并進行相應處理。運行該爬蟲前先要建立相應的文件夾。沒什么太難的地方，也就不多做分析了。

總結

以上是生活随笔為你收集整理的python花瓣飘零_Python爬虫练习之花瓣网的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。