pythonrequest得替代_Python爬虫通过替换http request header来欺骗浏览器实现登录功能...
以豆瓣為例，訪問https://www.douban.com/contacts/list 來查看自己關(guān)注的人，要登錄才能查看。
如果用requests.get()方法獲取這個http，沒登錄只能抓取回一個登錄界面，所以我們要用Python登錄網(wǎng)站才能抓取想要的網(wǎng)頁。
一個簡便的方法就是自己在瀏覽器上登錄好，然后通過下圖方法（Chrome為例），找到自己的Cookie和User-Agent，然后發(fā)送request時用這復(fù)制來的header替換掉待發(fā)送的request以達(dá)到登錄的目的，server端會憑這個認(rèn)為你是已經(jīng)登錄的用戶。
代碼如下：
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Cookie':'gr_user_id=1f9ea7ea-462a-4a6f-9d55-156631fc6d45; bid=vPYpmmD30-k; ll="118282"; ue="codin; __utmz=30149280.1499577720.27.14.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/doulist/240962/; __utmv=30149280.3049; _vwo_uuid_v2=F04099A9dd; viewed="27607246_26356432"; ap=1; ps=y; push_noty_num=0; push_doumail_num=0; dbcl2="30496987:gZxPfTZW4y0"; ck=13ey; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1515153574%2C%22https%3A%2F%2Fbook.douban.com%2Fmine%22%5D; __utma=30149280.833870293.1473539740.1514800523.1515153574.50; __utmc=30149280; _pk_id.100001.8cb4=255d8377ad92c57e.1473520329.20.1515153606.1514628010.'
} #替換成自己的cookie
r = requests.get('https://www.douban.com/contacts/list', headers = headers)
print(r.text)
總結(jié)
以上所述是小編個大家介紹的Python爬蟲通過替換http request header來欺騙瀏覽器實現(xiàn)登錄 ，希望對大家有所幫助，如果大家有任何疑問歡迎給我留言，小編會及時回復(fù)大家的！
本文標(biāo)題: Python爬蟲通過替換http request header來欺騙瀏覽器實現(xiàn)登錄功能
本文地址: http://www.cppcns.com/jiaoben/python/217002.html
總結(jié)
以上是生活随笔為你收集整理的pythonrequest得替代_Python爬虫通过替换http request header来欺骗浏览器实现登录功能...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 模拟分页效果
- 下一篇： python在工厂中的应用_什么是工厂函