日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

chromedriver 下载_centos7中配置python爬虫selenium+chromium+chromedriver环境

發布時間:2023/12/19 python 34 豆豆
生活随笔 收集整理的這篇文章主要介紹了 chromedriver 下载_centos7中配置python爬虫selenium+chromium+chromedriver环境 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

今天為了爬取某異步加載網站的數據,開始自學了selenium,不得不說selenium還是很方便的工具,適合無腦爬取異步加載的網站。首先我在自己的windows電腦下配置了selenium和chromedriver的chrome瀏覽器內核,正常調試好程序后準備部署到centos7服務器上,但是遇到了很多問題,不停報錯,在踩了很多雷以后終于可以完美部署selenium+chromium+chromedriver環境順利爬蟲了!

接下來我就詳細介紹下正確的配置方式

  • 安裝selenium:這一步比較簡單,直接pip安裝就行:
  • pip install selenium

    2. 安裝chromium:由于谷歌chrome并不支持linux,也就更不支持centos了,所以需要安裝chromium,不過不用擔心,chromium也是谷歌的開源項目,與chrome并沒有太大的區別

    yum install chromium

    這一步也沒什么問題,需要注意一下chromium安裝的版本,因為要與下一步需要安裝的chromedriver版本相適配,二者版本不同都會報錯,這里我也是踩雷了,chromium默認安裝的最新版為“79.0.3945.130-1.el7”,但是chromedriver已經更新到了81.0,第一次安裝的時候我選擇了最高版本的chromedriver,但是chromium還是79.0版本,執行python腳本的時候就報錯版本不適配,所以我重新安裝了對應版本的chromedriver。

    如何查看安裝的chromium版本?yum就可以看到

    yum list installed

    3. 安裝chromedriver:這里我們從taobao鏡像站點安裝:

    # 下載對應版本的chromedriver wget https://npm.taobao.org/mirrors/chromedriver/79.0.3945.16/chromedriver_linux64.zip # 解壓 unzip chromedriver_linux64.zip# 把chromedriver移動到系統目錄 mv chromedriver /usr/bin

    方法2:直接yum安裝,這樣其實更省事兒一點

    yum chromedriver

    安裝完成后確認一下版本與chromium保持一致:

    到這一步已經配置好selenium+chromium+chromedriver的環境了,接下來我們寫一個最簡單的python腳本試一下!

    from selenium import webdriver from selenium.webdriver.chrome.options import Options # 導入瀏覽器內核設置,主要是為了設置無頭(headless)模式 url = 'www.baidu.com' chrome_options = Options() chrome_options.add_argument('--headless') # 設置Chrome為無頭模式 driver = webdriver.Chrome(options=chrome_options) driver.get(url) driver.close() ```

    誒,報錯了:The process started from chrome location /usr/lib64/chromium-browser/chromium-browser is no longer running, so ChromeDriver is assuming that Chrome has crashed

    按照網上的教程:https://cloud.tencent.com/developer/article/1404558

    在腳本上加上兩句話:

    chrome_options.add_argument('no-sandbox') chrome_options.add_argument('disable-dev-shm-usage')

    完美解決了!

    總結

    以上是生活随笔為你收集整理的chromedriver 下载_centos7中配置python爬虫selenium+chromium+chromedriver环境的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。