功能點：如何爬取圖片，并保存到本地

爬取網(wǎng)站：斗魚主播

完整代碼：https://files.cnblogs.com/files/bookwed/Douyu.zip

主要代碼：

douyu.py

import scrapy import json from Douyu.items import DouyuItemclass DouyuSpider(scrapy.Spider):name = 'douyu'allowed_domains = ['douyucdn.cn']base_url = "http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset={}"offset = 0start_urls = [base_url.format(offset)]# 只能返回Request、BaseItem、dict or Nonedef parse(self, response):data_list = json.loads(response.body)["data"]# 如果沒有讀到數(shù)據(jù)，則退出，否則繼續(xù)請求if len(data_list) == 0:returnfor data in data_list:item = DouyuItem()item["nickname"] = data["nickname"]item["image_url"] = data["vertical_src"]yield itemself.offset += 20yield scrapy.Request(self.base_url.format(self.offset), callback=self.parse)

pipelines.py

from scrapy.pipelines.images import ImagesPipeline import scrapy import os from Douyu.settings import IMAGES_STORE as images_store # 讀取配置文件的信息# 繼承ImagePipeline，實現(xiàn)對圖片的操作，要進行settings的設(shè)置：IMAGES_STORE（圖片保存位置）、USER_AGENT、ROBOTSTXT_OBEY、ITEM_PIPELINES class DouyuPipeline(ImagesPipeline):# 重寫方法def get_media_requests(self, item, info):image_url = item["image_url"]yield scrapy.Request(image_url)# 保存圖片時重命名def item_completed(self, results, item, info):# print(results)# print("*"* 30)# 列表推導(dǎo)式，獲取圖片的保存路徑image_url = [x["path"] for ok, x in results if ok]# 重命名，由于都是jpg文件，所以直接拼上了os.rename(images_store+image_url[0], images_store + item["nickname"] + ".jpg")

?

轉(zhuǎn)載于:https://www.cnblogs.com/bookwed/p/10617860.html

總結(jié)

以上是生活随笔為你收集整理的scrapy爬虫系列之三--爬取图片保存到本地的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。