爬蟲

以下內容純自己理解的

爬網站時要是內容能被ctrl f 找到那就是靜態網頁就可以直接進行爬取，

要是沒有就是動態網頁，要分析json等響應最后轉換成python能懂得語言，解析數據 字典

scrapy框架步驟

scrapy startproject 項目名稱

scrapy genspider 爬蟲名字 域名 爬蟲名字不能是數字開頭的最好是英文的

編寫爬蟲(敲代碼)

運行爬蟲 scrapy crawl 爬蟲名字

例子

創建項目框架scrapy startproject jobspider

創建爬蟲scrapy genspider job 51job.com

編寫爬蟲

運行爬蟲 scrapy crawl job

循環的代碼提取內容

book = []

for name,author in zip(name,author):

book.append({'name': name,'author':author})

return book

scrapy crawl 項目名稱(qd)-o book.csv/xml/json能拿到這些格式

setting 里面要開啟好多東西 包括pipelines

PIPELINES的介紹。。。

yield的使用，數據的操作

xpath('內容提取信息的規則').extract()是獲取數據 前面的是返回來的響應

另一個爬蟲框架 crawlscrapy

scrapy genspider -t crawl 爬蟲名字 域名

和scrapy的區別是多了一個rules規則 這里是獲取響應并且回傳到parse_item 就相當于parse那個函數，同時可以進行多次的rules，響應返回來再做處理

圖片的便捷取出方法

image

middlewares 動態的ua

動態代理

總結

以上是生活随笔為你收集整理的python爬虫做灰产_python爬虫的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。