爬蟲從 HTML 數據中提取出有效的信息。但是如果網頁中含有 JavaScript 代碼，網頁會經過渲染處理。此時，如果我們仍采用常規(guī)方法從中抓取數據，那么我們將一無所獲。那么，通過Web kit可以簡單解決這個問題。Web kit 可以實現瀏覽器所能處理的任何事情。對于某些瀏覽器來說，Web kit就是其底層的網頁渲染工具。Web kit是QT庫的一部分，在安裝QT和PyQT4庫后，你可以直接運行下列代碼。 windows下可以下載對應的包，cmd進入對應目錄進行pip install; linux下運行：sudo apt-get install python-qt4 https://www.lfd.uci.edu/~gohlke/pythonlibs/#pyqt4



import sys from PyQt4.QtWebKit import * from PyQt4.QtGui import * from PyQt4.QtCore import * class Render(QWebPage): # 用來渲染網頁,將url中的所有信息加載下來并存到一個新的框架中 def __init__(self, url): self.app = QApplication(sys.argv) QWebPage.__init__(self) self.loadFinished.connect(self._loadFinished) self.mainFrame().load(QUrl(url)) self.app.exec_() def _loadFinished(self, result): self.frame = self.mainFrame() self.app.quit() url = 'http://ddbank.net/edu/mod/resource/view.php?id=707' r = Render(url) html = r.frame.toHtml() print(html)

?

轉載于:https://www.cnblogs.com/dreamyheart/p/10368031.html

總結

以上是生活随笔為你收集整理的Python爬取js动态添加的内容的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。