我正在嘗試編寫一個Python腳本，該腳本將定期檢查網站以查看某項是否可用。過去，我已經成功使用了request.get，lxml.html和xpath來自動執行網站搜索。對于此特定URL(http://www.anthropologie.com/anthro/product/4120200892474.jsp?cm_vc=SEARCH_RESULTS#/)和同一網站上的其他URL

，我的代碼無法正常工作。

import requests

from lxml import html

page = requests.get("http://www.anthropologie.com/anthro/product/4120200892474.jsp?cm_vc=SEARCH_RESULTS#/")

tree = html.fromstring(page.text)

html_element = tree.xpath(".//div[@class='product-soldout ng-scope']")

在這一點上，html_element應該是一個元素列表(我認為在這種情況下只有1個)，但是它是空的。我認為這是因為網站不會一次加載所有內容，因此，當request.get()退出并對其進行抓取時，它僅抓取了第一部分。所以我的問題是1：我對問題的評估正確嗎？和2：如果是這樣，是否有一種方法可以使request.get()等待返回html之前，或者完全通過另一種途徑來獲取整個頁面。

謝謝

編輯：感謝兩個答復。我使用了Selenium并使腳本工作。

總結

以上是生活随笔為你收集整理的python request.get()_使用Python request.get解析无法一次加载的html代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。