問題描述

在抓取豆瓣電影時，電影的導演、編劇等都可以順利的抓取下來。當抓取主演時，卻抓取不到。

解決辦法

? ? ?當時以為主演這些數據是通過js動態加載出來的，但是利用抓包工具抓取時，發現并不是。然后查看網頁源代碼

發現源碼里少了一對span 標簽，所以xpath規則從

./span[3]/span[2]/span/a/text()

修改為

./span[3]/span[2]/a/text()

這樣，就可以抓取到主演的數據了。

注意：請求頭里不能寫攜帶Cookie，否則同樣抓取不到數據

總結

以上是生活随笔為你收集整理的抓取豆瓣电影时遇到的问题记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。