一、Scrapy shell簡介

Scrapy終端是一個交互終端，供您在未啟動spider的情況下嘗試及調試您的爬取代碼。 其本意是用來測試提取數據的代碼，不過您可以將其作為正常的Python終端，在上面測試任何的Python代碼。

該終端是用來測試XPath或CSS表達式，查看他們的工作方式及從爬取的網頁中提取的數據。 在編寫您的spider時，該終端提供了交互性測試您的表達式代碼的功能，免去了每次修改后運行spider的麻煩。

一旦熟悉了Scrapy終端后，您會發現其在開發和調試spider時發揮的巨大作用。

如果您安裝了?IPython?，Scrapy終端將使用?IPython?(替代標準Python終端)。?IPython?終端與其他相比更為強大，提供智能的自動補全，高亮輸出，及其他特性。

二、啟動終端

scrapy shell <url地址>

三、使用終端

response對象

response.body

獲取響應到二進制類型

response.text

獲取響應的文本

response.url

獲取響應的url

response.status

獲取響應的狀態碼

response的解析

response.xpath()

使用xpath路徑查詢特定元素，返回一個selector對象

response.css()

使用css_selector查詢元素，返回一個selector對象

selector對象

extract()

使用xpath請求到的對象是一個selector對象，需要進一步使用extract()方法拆包，轉換為unicode字符串

extract_first()

返回第一個解析到的值，如果列表為空，此種方法也不會報錯，會返回一個空值

xpath()

selector對象也支持xpath查詢

css()

selector對象也支持css語句查詢

item對象

dict(item_obj)

可以使用dict方法直接將item對象轉換成字典對象

item(dict_obj)

也可以使用字典對象創建一個Item對象

轉載于:https://www.cnblogs.com/huanggaoyu/p/10654922.html

總結

以上是生活随笔為你收集整理的Scrapy shell的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。