請求庫(requests,selenium)、解析庫(beautifulsop)、存儲庫、工具庫等

?

urelib? ?

re

上面這兩個是python自帶的庫

需要自己安裝額庫：

(在windows下，使用pip install 命令)

requests

selenium用來驅動瀏覽器，做自動化測試，一些被js渲染的用這個來獲取源代碼

phantomjs,無界面瀏覽器，下載，并將phantomjs.exe配置到環境變量

lxml,可以用來進行網頁的解析

------------------------------------

beautifulsoup,也是一個網頁解析庫，并且依賴于lxml庫，在安裝時需要輸入pip3 install beautifulsoup4,導入時使用import bs4 ?

from bs4 import Beautifulsoup

-------------------------------------

?

pyquery也是一個網頁解析庫，比beautifulsoup更加方便

一些存儲庫：

pymysql

pymongo

redis

一些工具庫

flask是一個web庫，在做一些代理的設置是=時，可? 能會用到這個庫

django,一個web服務器框架

jupyter，可以理解為一個筆記本，但這個筆記本功能比較強，可以在先運行代碼，很多功能，用來寫代碼或者文檔記錄很方便

在linux下，使用如下命令即可：

pip3 install requests selenium beautifulsoup4 puquery pymysql pymongo redis flask django jupyter

?

轉載于:https://www.cnblogs.com/ronghe/p/9142241.html

總結

以上是生活随笔為你收集整理的爬虫常用库的安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。