1. 蜂鳥網圖片簡介

國慶假日結束了，新的工作又開始了，今天我們繼續爬取一個網站，這個網站為 http://image.fengniao.com/ ，蜂鳥一個攝影大牛聚集的地方，本教程請用來學習，不要用于商業目的，不出意外，蜂鳥是有版權保護的網站。

2. 蜂鳥網圖片網站分析

第一步，分析要爬取的網站有沒有方法爬取，打開頁面，找分頁

http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1&not_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2&not_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3&not_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4&not_in_id=5352384,5352410

上面的頁面發現一個關鍵的參數page=1這個就是頁碼了，但是另一個比較頭疼的問題是，他沒有最后的頁碼，這樣我們沒有辦法確定循環次數，所以后面的代碼編寫中，只能使用while了

這個地址返回的是JSON格式的數據，這個對爬蟲來說，非常友好！省的我們用正則表達式分析了。

分析這個頁面的頭文件，查閱是否有反爬措施

發現除了HOST和User-Agent以外，沒有特殊的點，大網站就是任性，沒啥反爬，可能壓根不在乎這個事情。

第二步，分析圖片詳情頁面，在我們上面獲取到的JSON中，找到關鍵地址

關鍵地址打開之后，這個地方有一個比較騷的操作了，上面圖片中標注的URL選的不好，恰好是一個文章了，我們要的是組圖，重新提供一個新鏈接 http://image.fengniao.com/slide/535/5352130_1.html#p=1

打開頁面，你可能直接去找規律了，找到下面的一堆鏈接，但是這個操作就有點復雜了，我們查閱上述頁面的源碼

http://image.fengniao.com/slide/535/5352130_1.html#p=1 http://image.fengniao.com/slide/535/5352130_1.html#p=2 http://image.fengniao.com/slide/535/5352130_1.html#p=3 ....

網頁源碼中發現了，這么一塊區域

大膽的猜測一下，這個應該是圖片的JSON，只是他打印在了HTML中，我們只需要用正則表達式進行一下匹配就好了，匹配到之后，然后進行下載。

第三步，開始擼代碼。

3. 蜂鳥網圖片寫代碼

from http_help import R # 這個文件自己去上篇博客找，或者去github找 import threading import time import json import reimg_list = [] imgs_lock = threading.Lock() #圖片操作鎖# 生產者類 class Product(threading.Thread):def __init__(self):threading.Thread.__init__(self)self.__headers = {"Referer":"http://image.fengniao.com/","Host": "image.fengniao.com","X-Requested-With":"XMLHttpRequest"}#鏈接模板self.__start = "http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page={}&not_in_id={}"self.__res = R(headers=self.__headers)def run(self):# 因為不知道循環次數，所有采用while循環index = 2 #起始頁碼設置為1not_in = "5352384,5352410"while True:url = self.__start.format(index,not_in)print("開始操作:{}".format(url))index += 1content = self.__res.get_content(url,charset="gbk")if content is None:print("數據可能已經沒有了====")continuetime.sleep(3) # 睡眠3秒json_content = json.loads(content)if json_content["status"] == 1:for item in json_content["data"]:title = item["title"]child_url = item["url"] # 獲取到鏈接之后 代碼來源，公眾號：非本科程序員img_content = self.__res.get_content(child_url,charset="gbk")pattern = re.compile('"pic_url_1920_b":"(.*?)"')imgs_json = pattern.findall(img_content)if len(imgs_json) > 0:if imgs_lock.acquire():img_list.append({"title":title,"urls":imgs_json}) # 這個地方，我用的是字典+列表的方式，主要是想后面生成文件夾用，你可以進行改造imgs_lock.release()

上面的鏈接已經生成，下面就是下載圖片了，也非常簡單

# 消費者 class Consumer(threading.Thread):def __init__(self):threading.Thread.__init__(self)self.__res = R()def run(self):while True:if len(img_list) <= 0:continue # 進入下一次循環if imgs_lock.acquire():data = img_list[0]del img_list[0] # 刪除第一項imgs_lock.release()urls =[url.replace("\\","") for url in data["urls"]]# 創建文件目錄for item_url in urls:try:file = self.__res.get_file(item_url)# 記得在項目根目錄先把fengniaos文件夾創建完畢，代碼來源，公眾號：非本科程序員with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f:f.write(file)except Exception as e:print(e)

代碼走起，結果

總結

以上是生活随笔為你收集整理的Python爬虫入门教程 6-100 蜂鸟网图片爬取之一的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。