1 爬取https的網站或是接口的時候，如果是不受信用的SSL證書，會報錯，需要添加如下代碼，如下代碼可以保證當前代碼塊內所有的請求都自動屏蔽ssl證書問題：

import ssl # 這個是爬取https的鏈接需要的，以及下面一行代碼 ssl._create_default_https_context = ssl._create_unverified_context

?

2 爬取jsonp的接口，返回的數據需要刪除callback名字和最外層括號，可以通過以下方式過濾：

text方法將取得的數據轉為文本，然后re.match將字符串過濾掉callback名字和最外層括號，留下原本json部分的數據，然后通過json.loads將過濾出來的json轉為python對象

import re getOneSongInfoCallback=json.loads(re.match(".*?({.*}).*", requests.get(url, headers=headers).text)[1])

?

3 獲取請求的地址后面跟的參數的方法，如下方式得到qs就可以進一步直接獲取自己想要的參數值：

import urllib.parse as parse parse_query=parse.urlparse(url).query qs=parse.parse_qs(parse_query)

?

轉載于:https://www.cnblogs.com/marymei0107/p/8065893.html

總結

以上是生活随笔為你收集整理的python爬取数据需要注意的问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。