利用python爬虫(案例1)--某电影网站的小电影们
生活随笔
收集整理的這篇文章主要介紹了
利用python爬虫(案例1)--某电影网站的小电影们
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
學(xué)習(xí)筆記
前言:此案例中,要求抓取某電影網(wǎng)站內(nèi)【最新電影欄目】里的電影名稱,以及該電影的下載鏈接,并將這些數(shù)據(jù)存儲在數(shù)據(jù)庫中。
案例(某電影網(wǎng)站數(shù)據(jù)抓取)
首先,確定要爬取的某電影網(wǎng)站的URL地址
https://www.ygdy8.net/html/gndy/dyzz/index.html
查看網(wǎng)頁是否為靜態(tài)網(wǎng)頁(與靜態(tài)相對的是動態(tài)網(wǎng)頁)
怎么查看是否為靜態(tài)網(wǎng)頁?我們可以ctrl+f搜索一下想要爬取的數(shù)據(jù),如果查詢到數(shù)據(jù)了,就暫時判定是靜態(tài)的。但如果沒有查詢到我們想要的數(shù)據(jù),且看到一堆堆的css和js文件,則這個網(wǎng)頁可能是動態(tài)網(wǎng)頁。
打開網(wǎng)頁源代碼,ctrl+f搜索關(guān)鍵字【攀登者】:
嗯,查詢到了數(shù)據(jù),該網(wǎng)頁應(yīng)該是靜態(tài)的。
爬取目標
電影名稱(在一級頁面中),以及點開電影詳情鏈接后,該電影的下載地址(在二級頁面中)。
一級頁面中需要爬取的電影名稱:
總結(jié)
以上是生活随笔為你收集整理的利用python爬虫(案例1)--某电影网站的小电影们的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2018招商银行春招笔试编程题第一题
- 下一篇: websocket python爬虫_p