php采集绕过cloudflare,三行代码带你绕过cloudflare反爬
在使用Python編寫蜘蛛爬取數據時,偶爾也有失敗的,其中有種失敗的情況就是目標站使用coludflare cdn,爬取數據時總是返回400 bad request。
今天我就詳細的給大家講解一下如何突破cloudflare cdn反爬。
第一步:安裝所需pytho庫:pip install cfscrape
第二步:處理get請求
import cfscrape
#實例話一個CloudflareScraper對象
scraper=cfscrape.create_scraper()
# 或者scraper=cfscrape.CloudflareScraper()也可以
# 如果出現錯誤可以加個延遲
# scraper = cfscrape.create_scraper(delay=10)
# 獲取真實網頁源代碼
web_data=scraper.get('http://yourwebsite.com').content
第三步:處理post請求
import cfscrape
#實例話一個CloudflareScraper對象
scraper=cfscrape.create_scraper()
# 或者scraper=cfscrape.CloudflareScraper()也可以
# 如果出現錯誤可以加個延遲
# scraper = cfscrape.create_scraper(delay=10)
# 獲取真實網頁源代碼
web_data=scraper.post('http://yourwebsite.com').content
最后編輯:2019-12-08作者:搬運工
這個作者貌似有點懶,什么都沒有留下。
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的php采集绕过cloudflare,三行代码带你绕过cloudflare反爬的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: RTX5 | 线程标志组01 - 线程同
- 下一篇: 动态规划算法php,php算法学习之动态