python 爬虫输出为空,python爬取文件时,内容为空
解決方式:
img_res = requests.get(src,headers=header)
在header中加上referer防盜鏈
加上防盜鏈header的例子:
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:66.0) Gecko/20100101 Firefox/66.0",
"Referer":"https://www.mzitu.com/",}
;
還有關(guān)于header的問題,
如果進不去網(wǎng)址,說明瀏覽器防火墻給阻斷了,這時候要加入 虛擬瀏覽器頭:例子如上
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:66.0) Gecko/20100101 Firefox/66.0",
"Referer":"https://www.mzitu.com/",}
;
還有關(guān)于python進行一段時間便出現(xiàn)'NoneType' object has no attribute 'find'
這是空類型的問題,即
用isinstance()函數(shù)將空類型過濾掉。
例子:
源代碼如下:
max_no = soup_item.find('div', class_='pagenavi').find_all('span')[6].get_text()
解決方式:
max_no = soup_item.find('div', class_='pagenavi').find_all('span')[6].get_text()
if isinstance(max_no,bs4.element.Tag):
#后邊的代碼
************************************************************************************************************
總結(jié)
以上是生活随笔為你收集整理的python 爬虫输出为空,python爬取文件时,内容为空的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php fpm error,关于启动ph
- 下一篇: websocket python爬虫_p