爬虫日记(85):Scrapy的ExecutionEngine类(三)
生活随笔
收集整理的這篇文章主要介紹了
爬虫日记(85):Scrapy的ExecutionEngine类(三)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
接著下來我們來分析_next_request_from_scheduler函數,這個函數主要實現從調度器里獲得下載請求,然后把請求下載再放到下載器里去下載。實現這部分的功能:
也就是上圖的2、3、4、5這四步的功能。因此我們需要詳細地查看這個函數的每一行代碼:
這個函數傳進來的參數spider是蜘蛛類對象。
第152行代碼是保存類的slot對象到臨時對象,避免self.slot修改為空的狀態沖突。
第153行是從類class Scheduler對象獲得下一個可以發送的請求下載對象。
第154行判斷下一個請求對象是否為空,如果為空就直接退此函數執行。
總結
以上是生活随笔為你收集整理的爬虫日记(85):Scrapy的ExecutionEngine类(三)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 医学数据挖掘流程(三):特征工程
- 下一篇: 地球实时卫星图片资源-与当前时间只相差3