??認識程序中的debug信息

?https://blog.csdn.net/wei18791957243/article/details/86157707? 這個博客里寫了，怎么關閉這些debug信息

因為在Scrapy中默認是開啟debug信息的

?

?

?Scrapy shell的使用

?退出到爬蟲項目的根目錄的上一級目錄

scrapy shell 網站地址? ? ? ? 例如：?scrapy shell?http://quotes.toscrape.com/

如果電腦上裝的Ipython就進入Ipython，沒有就進入Python Sell

?執行上面的命令后，會打印一堆debug信息以及可用的爬蟲對象

1. 然后即可以進行使用爬蟲對象對應的方法

? response對象

'''當前響應的url地址''' response.url '''返回請求的url網頁源碼，注意類型是str類型''' response.text '''返回請求的url網頁源碼，注意類型是bytes類型''' response.body '''也可以測試xpath是否寫的正確''' response.xpath().extract() '''當前響應對應的請求的url地址''' response.request.url： '''響應頭''' response.headers： '''當前響應的請求頭''' response.requests.headers：

spider對象

'''爬蟲的名字，沒有指定就是default''' spider.name '''打印log信息''' spider.log() ''''''

?? 還有其他的一些對象以及對應的請求, 我們可以

? 在shell中輸入對象后然后按Tab鍵就可以看它對應的所有方法

總結

以上是生活随笔為你收集整理的Scrapy框架的学习(7. 了解Scrapy中的debug信息以及Scrapy shell的使用)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。