這次我們來繼續(xù)深入爬蟲數(shù)據(jù)，有些網(wǎng)頁通過請(qǐng)求的html代碼不能直接拿到數(shù)據(jù)，我們所需的數(shù)據(jù)是通過ajax渲染到頁面上去的，這次我們來看看如何分析ajax

我們這次所使用的網(wǎng)絡(luò)庫還是上一節(jié)的Requests，結(jié)果用到mongodb來存儲(chǔ)（需要提前安裝pymongo庫），開啟多線程爬。

?分析：有很多網(wǎng)頁打開以后，我們得到html源碼并不能得到我們想要的數(shù)據(jù)，這時(shí)網(wǎng)站很有可能是通過ajax來加載的數(shù)據(jù)。

我們打開調(diào)試模式F12，點(diǎn)擊NetWork，我們來分析我所要的數(shù)據(jù)藏在哪里

我們可以看到我們所需要的數(shù)據(jù)是通過ajax加載出來的。

項(xiàng)目一：分析Ajax來抓取今日頭條街拍美圖

代碼地址：https://gitee.com/dwyui/toutiao_jiepai.git

簡(jiǎn)單看一下我們的運(yùn)行結(jié)果：

?

轉(zhuǎn)載于:https://www.cnblogs.com/cxiaocai/p/10958210.html

總結(jié)

以上是生活随笔為你收集整理的python爬虫---实现项目(二) 分析Ajax请求抓取数据的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。