前言

本文的文字及圖片來源于網(wǎng)絡(luò),僅供學(xué)習(xí)、交流使用,不具有任何商業(yè)用途,版權(quán)歸原作者所有,如有問題請及時(shí)聯(lián)系我們以作處理

本次目標(biāo)

爬取全民小視頻

https://quanmin.baidu.com/

確定目標(biāo)網(wǎng)頁

選擇影視類目

右鍵選擇檢查，開發(fā)開發(fā)者工具

選擇 Network，網(wǎng)頁往下滑，可以看到數(shù)據(jù)加載

視頻地址

視頻名字

視頻ID

接口數(shù)據(jù)鏈接是通過pn的變化，實(shí)現(xiàn)翻頁效果

如果想要爬取其他分類視頻，把參數(shù)中tab_name 更改即可

環(huán)境

Python3.6

pycharm

開始代碼

導(dǎo)入工具

import pprint

import requests

相關(guān)庫可以用 pip install 安裝

請求、解析、爬取網(wǎng)頁數(shù)據(jù)，并保存

url = 'https://quanmin.baidu.com/wise/growth/api/home/tabmorelist'

for page in range(1, 100):

params = {

'rn': '12',

'pn': '{}'.format(page),

'timestamp': '1603442730716',

'session_id': '1603442719704',

'tab_name': 'movie',

'_format': 'json',

}

headers = {

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'

}

response = requests.get(url=url, params=params, headers=headers)

html_data = response.json()

lis = html_data['data']['list']['video_list']

for li in lis:

play_url = li['play_url']

title = li['title']

filename = 'C:\\Users\\Administrator\\Desktop\\新建文件夾\\' + title + '.mp4'

response_2 = requests.get(url=play_url, headers=headers)

with open(filename, mode='wb') as f:

f.write(response_2.content)

print(title, play_url)

運(yùn)行代碼，效果如下

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的python爬虫短片_Python爬虫练习：爬取全民小视频（附代码，过程）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。