@Author: Runsen

每個網頁，都有一定的特殊結構和層級關系，而且很多節點都有 id 或 class 作為區分，我們可以借助它們的結構和屬性來提取信息。

如果你用慣了xpath和bs4，學習Pyquery是一個不錯的選擇。

pyquery 是 Python 的第三方庫，我們可以借助于 pip3 來安裝，安裝命令如下：

pip install pyquery

下面，我以CSDN首頁為例。

import requests from pyquery import PyQuery as pq headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36" } res = requests.get("https://www.csdn.net/",headers = headers) res.encoding = 'utf-8' doc = pq(res.text) print(doc("title")) print(doc("title").text())

輸出如下

<title>CSDN-專業IT技術社區</title>CSDN-專業IT技術社區

下面，我需要拿到文章分類的標簽。

總結

以上是生活随笔為你收集整理的八、爬虫解析利器 PyQuery 的使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。