日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 综合教程 >内容正文

综合教程

Python爬虫抓取糗百的图片,并存储在本地文件夹

發布時間:2023/12/29 综合教程 32 生活家
生活随笔 收集整理的這篇文章主要介紹了 Python爬虫抓取糗百的图片,并存储在本地文件夹 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

思路:

1.觀察網頁,找到img標簽

2.通過requests和BS庫來提取網頁中的img標簽

3.抓取img標簽后,再把里面的src給提取出來,接下來就可以下載圖片了

4.通過urllib的urllib.urlretrieve來下載圖片并且放進文件夾里面(第一之前的準備工作就是獲取當前路徑然后新建一個文件夾)

5.如果有多張圖片,不斷的重復3-4

由于爬蟲寫得少,通過自己的調試,終于寫了出來了

下面直接上代碼:

 1 #coding = 'utf-8'
 2 import requests
 3 from bs4 import BeautifulSoup
 4 import urllib
 5 import os
 6 import sys
 7 reload(sys)
 8 sys.setdefaultencoding("utf-8")
 9 
10 if __name__ == '__main__':
11     url = 'http://www.qiushibaike.com/'
12     res = requests.get(url)
13     res.encoding = 'utf-8'
14     soup = BeautifulSoup(res.text, 'html.parser')
15     imgs = soup.find_all("img")
16 
17     _path = os.getcwd()
18     new_path = os.path.join(_path , 'pictures')
19     if not os.path.isdir(new_path):
20         os.mkdir(new_path)
21     new_path += '\ '
22 
23     try:
24         x = 1
25         if imgs == []:
26             print "Done!"
27         for img in imgs:
28             link = img.get('src')
29             if 'http' in link:
30                 print "It's downloading %s" %x + "th's piture"
31                 urllib.urlretrieve(link, new_path + '%s.jpg' %x)
32                 x += 1
33 
34     except Exception, e:
35         print e
36     else:
37         pass
38     finally:
39         if x :
40             print "It's Done!!!"

接下來上結果:

python3中的版本,略有有一點點不同,就是下載圖片的方法需要加上request,然后才能使用urlretrieve方法進行下載

 1 #!/usr/bin/python3
 2 #coding = 'utf-8'
 3 
 4 import requests
 5 from bs4 import BeautifulSoup
 6 import urllib 
 7 import os
 8 import sys
 9 #reload(sys)
10 #sys.setdefaultencoding("utf_8")
11 
12 if __name__ == '__main__':
13     url = 'http://www.qiushibaike.com/'
14     res = requests.get(url)
15     res.encoding = 'utf-8'
16     print (res)
17     soup = BeautifulSoup(res.text,'html.parser')
18     #imgs = soup.find_all('img', attrs={'class': 'item_img'})
19     imgs = soup.find_all('img')
20 
21     _path = os.getcwd()
22     new_path = os.path.join(_path,'pictures\\')#需要添加斜杠,才能將圖片放進單獨的文件夾里面
23     print(new_path)
24 
25     if not os.path.isdir(new_path):
26         os.mkdir(new_path)
27 
28     #new_path = new_path + '\'
29     #print (str(new_path))
30 
31     try:
32         x = 1
33         if imgs == []:
34             print ("Done!")
35             print (len(imgs))
36         for img in imgs:
37             link = img.get('src')
38             link = 'http:' + link
39             #print (link)
40             if True:
41                 print ("It's downloading %s" %x + "th's piture")
42                 #python3如下使用urlretrieve
43                 #_new111 = new_path + '%s.jpg'%5
44                 #print (_new111)
45                 urllib.request.urlretrieve(link,new_path + '%s.jpg' %x)
46                 x += 1
47 
48     except Exception:
49         pass
50 #    else:
51 #        pass
52     finally:
53         if x:
54             print ("It's Done!")

結果都是一樣,就不再另外貼結果截圖了

總結:

雖然一開始思路不清晰,而且對怎樣把圖片保存下來,都不是很熟

但是經過自己的思考,只要思路清楚了,確定了方向就好辦了,至于函數不會用的話,可以直接百度查,很方便的

總而言之,寫程序之前一定要有思路,邊寫邊想思路是不行的,那樣容易返工

不過最后還是寫出來了,哈哈

也請大家來共同學習和指正

----------------------

轉載的話請大家注明出處哦,謝謝了

總結

以上是生活随笔為你收集整理的Python爬虫抓取糗百的图片,并存储在本地文件夹的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。