python简单爬豆瓣电影排名
生活随笔
收集整理的這篇文章主要介紹了
python简单爬豆瓣电影排名
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
爬豆瓣電影
?
網(wǎng)站分析:
? ? ? ? ? ? ? ? ? 1 打開(kāi)https://movie.douban.com,選擇? 【排行榜】,然后隨便選擇一類型,我這里選擇科幻
? ?2 一直瀏覽網(wǎng)頁(yè),發(fā)現(xiàn)沒(méi)有下一的標(biāo)簽,是下滑再加載的,可以判定使用了 ajax 請(qǐng)求,進(jìn)行異步的加載
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
檢查請(qǐng)求信息:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?1.右鍵【檢查】>【Network】
? ? ? ? ? ? ? ? ? ? ? ? ? ?2 找url
?
簡(jiǎn)單實(shí)現(xiàn)代碼
1 from urllib import request 2 import json 3 import time 4 5 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"} 6 # url 信息:interval_id 表示排名段 可修改 ,limit 限制20個(gè),就是每頁(yè)請(qǐng)求多少個(gè) 7 url = "https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=20&limit=20" 8 9 rsp = request.urlopen(url) 10 data = rsp.read().decode() 11 12 data = json.loads(data) 13 14 print(data)
?
運(yùn)行效果
?
?
?
優(yōu)化輸出格式,代碼
1 from urllib import request 2 import json 3 4 url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=20&limit=20" 5 6 rsp = request.urlopen(url) 7 data = rsp.read().decode() 8 9 data = json.loads(data) 10 11 #遍歷輸出每個(gè)'k'和‘v’的值 12 for item in data: 13 print("排名:", item['rank'],"\n", 14 "名稱:",item['title'],"\n", 15 "類型:",item['types'],"\n", 16 "主演:",item['actors'],"\n", 17 "國(guó)家:",item['regions'],"\n", 18 "分?jǐn)?shù):",item['score'],"\n", 19 "圖片:",item['cover_url'],"\n---------------")?
優(yōu)化效果
?
好了,這樣的效果,看起來(lái)更順眼了
?
轉(zhuǎn)載于:https://www.cnblogs.com/lanyincao/p/10829239.html
總結(jié)
以上是生活随笔為你收集整理的python简单爬豆瓣电影排名的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: JavaScript中错误正确处理方式,
- 下一篇: python爬虫06 | 你的第一个爬虫