python爬虫学习之页面登陆
生活随笔
收集整理的這篇文章主要介紹了
python爬虫学习之页面登陆
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
爬蟲(chóng)學(xué)習(xí)的一點(diǎn)心得
登陸主要有3種方法:使用selenium,cookies,模擬表單登陸
個(gè)人對(duì)于一般情況使用cookies登陸
可以實(shí)現(xiàn)一次手動(dòng),長(zhǎng)期自動(dòng),可以繞過(guò)登陸(登陸的相關(guān)信息密碼,賬號(hào)等會(huì)存于cookies中)
注意:get網(wǎng)頁(yè)信息時(shí)候最好是先建立一個(gè)session,不要直接requests.get(),否則對(duì)服務(wù)器而言相當(dāng)于每次新開(kāi)一個(gè)瀏覽器來(lái)訪問(wèn)容易被識(shí)別,不符合用戶行為
先創(chuàng)建一個(gè)session,然后每次都用同一個(gè)session去訪問(wèn),注意對(duì)于HTTPS的網(wǎng)站,需要帶上參數(shù)verify=False,否則爬蟲(chóng)會(huì)報(bào)錯(cuò)!
轉(zhuǎn)載于:https://www.cnblogs.com/tian2B/p/10914672.html
總結(jié)
以上是生活随笔為你收集整理的python爬虫学习之页面登陆的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Jmeter逻辑控制器-ForEach
- 下一篇: python字符编码与转码