python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址
隨著人們生活水平的提高,肯德基這類的快餐消費(fèi)的十分火爆,成為小朋友和年輕人的最愛,我們到一個地方想要找到肯德基店面,會根據(jù)導(dǎo)航獲取肯德基地址,那你知道我們也可以使用python爬蟲獲取KFC地址嗎?我們可以使用python爬蟲的requests模塊模擬瀏覽器發(fā)送請求對肯德基官網(wǎng)的數(shù)據(jù)進(jìn)行爬取,本文向大家介紹相關(guān)步驟。
爬蟲目標(biāo):使用requests模塊對肯德基官網(wǎng)的數(shù)據(jù)進(jìn)行爬取。
requests模塊作用:requests模塊是python一款原生的基于網(wǎng)絡(luò)請求的模塊,我們用來模擬瀏覽器發(fā)送請求。
1、導(dǎo)入requests模塊#?調(diào)用requests模塊
import?requests
if?__name__?==?'__main__':
2、獲取要請求的url并發(fā)起請求
requests模塊請求功能來代替我們用戶在網(wǎng)頁上的鼠標(biāo)點(diǎn)擊操作,即使不用瀏覽器也能完成訪問。#?獲取要請求的url
post_url?=?'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
kw?=?input('請輸入城市名:?')
data?=?{
'cname':?'',
'pid':?'',
'keyword':?kw,
'pageIndex':?'1',
'pageSize':?'10'
}
#?UA偽裝
headers?=?{
'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)
Chrome/87.0.4280.141?Safari/537.36'
}
3、獲取響應(yīng)數(shù)據(jù)并儲存數(shù)據(jù)
發(fā)起了請求,服務(wù)器自然會給回應(yīng),從服務(wù)器返回的數(shù)據(jù)中可以篩選出我們所希望得到的數(shù)據(jù)。#??獲得請求返回數(shù)據(jù)并保存
dict_text?=?response.text
#雖然返回的是txt格式,但是這里保存成json格式,就可以使用自動調(diào)整格式了,更方便查看
filename?=?kw+'市kfc分布.json'
fp?=?open(filename,'w',encoding='utf-8')
fp.write(dict_text)
print('爬取成功~')
以上就是Python爬蟲如何爬取KFC地址的步驟,是不是挺簡單的,可以嘗試看看喲~更多python爬蟲推薦:python爬蟲教程。
總結(jié)
以上是生活随笔為你收集整理的python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php mysql怎么实现,使用php与
- 下一篇: 漫谈:Java和Python现在都挺火,