0.Scrapy的第一個實(shí)例
演示HTML頁面地址






allowed_domains指用戶最開始提交給命令行的域名，只能爬該域名以下的連接
start——urls：初始頁面
parse：解析頁面的空的方法

# -*- coding: utf-8 -*- import scrapyclass DemoSpider(scrapy.Spider):name = 'demo'#allowed_domains = ['python123.io']start_urls = ['http://python123.io/ws/demo.html']def parse(self, response):#response 網(wǎng)絡(luò)返回的內(nèi)容的對象fname = response.url.split('/')[-1]#定義文件名，提取文件名作為文件名#以/為分割符保留最后一段with open(fname,'wb') as f:f.write(response.body)#返回的內(nèi)容保存為文件self.log('Saved file %s.'%fname)pass

1.yield關(guān)鍵字的使用





每次提交一個請求

yield講解牛批
https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/
2.Scrapy爬蟲的基本使用

requests ：向網(wǎng)絡(luò)提交的請求封裝的類
response：網(wǎng)頁獲得的回應(yīng)內(nèi)容的封裝類
item：spider產(chǎn)生的信息封裝的類









summary

總結(jié)

以上是生活随笔為你收集整理的爬虫笔记11Scrapyyield具体使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。