爬虫篇 | 快速入门selenium(十一)
生活随笔
收集整理的這篇文章主要介紹了
爬虫篇 | 快速入门selenium(十一)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
如果爬蟲不會Selenium 就不要說自己會爬蟲
Selenium簡介
Selenium是一個用于web自動化測試的工具,Selenium測試直接運行在瀏覽器中,就好像一個真正的用戶在操作一樣
支持大部分主流的瀏覽器,包括IE(7,8,9,10,11),Firefox,Safari,Chrome,Opera等。
我們可以利用它來模擬用戶點擊訪問網站,繞過一些復雜的認證場景
通過selnium+驅動瀏覽器這種組合可以直接渲染解析js,繞過大部分的參數構造和反爬。
安裝Selenium
Selenium安裝非常簡單,直接pip就可以搞定: pip install selenium
使用selenium驅動chrome瀏覽器需要下載chromedriver,而且chromedriver版本需要與chrome的版本對應,版本錯誤的話則會運行報錯。
Chromedriver下載地址:https://chromedriver.storage.googleapis.com/index.html
Windows: 下載對應版本的chromedriver解壓后,將文件移動到一個配置了環境變量的文件夾中,例如Python安裝文件夾
Linux/Mac: 解壓后,將文件移動至/usr/local/bin目錄中
測試
總結
以上是生活随笔為你收集整理的爬虫篇 | 快速入门selenium(十一)的全部內容,希望文章能夠幫你解決所遇到的問題。