功能點：CrawlSpider的基本使用

爬取網站：保監會

主要代碼：

cf.py

# -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule import reclass CfSpider(CrawlSpider): # 繼承自CrawlSpider"""主要是介紹CrawlSpider的用法"""name = 'cf'allowed_domains = ['circ.gov.cn']# 第一次請求的url，如果有特殊需求，可以定義一個parse_start_url函數來處理這個url所對應的響應start_urls = ['http://circ.gov.cn/web/site0/tab5240/']rules = (# LinkExtractor 鏈接提取器，提取url地址# callback 可以沒有# follow 當前url的響應是否重新經過rules來提取url# 注意點：# 1、兩個Rule的callback解析函數，不能直接傳遞參數# 2、如果多個Rule都滿足同一個url，會從rules中選擇第一個滿足的操作# 詳情的url提取器Rule(LinkExtractor(allow=r'/web/site0/tab5240/info\d+\.htm'), callback='parse_item'),# 列表的url提取器Rule(LinkExtractor(allow=r'/web/site0/tab5240/module14430/page\d+\.htm'), follow=True),)# parse是發送url請求的，不能在此定義# 解析詳情頁def parse_item(self, response):item = {}# 通過正則匹配item["title"] = re.findall("<!--TitleStart-->(.*?)<!--TitleEnd-->", response.body.decode())[0]item["publish_time"] = re.findall("發布時間：(20\d{2}-\d{2}-\d{2})", response.body.decode())[0]print(item)print("*"*30)# # 此處也可以接著構造請求# yield scrapy.Request(# url,# callback=self.parse_detail,# meta={"item": item}# )# # # 構造其他屬性# def parse_detail(self, response):# item = response.meta["item"]# item["price"] = 11# yield item

?

轉載于:https://www.cnblogs.com/bookwed/p/10633734.html

總結

以上是生活随笔為你收集整理的scrapy爬虫系列之五--CrawlSpider的使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。