selenium爬堆糖网壁纸
生活随笔
收集整理的這篇文章主要介紹了
selenium爬堆糖网壁纸
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
身為二刺螈真的一看到動漫手繪美圖就想保存下來啊,堆糖上有很多好看的插畫,試著用selenium爬了一下,并保存到本地。
# coding--utf8 import selenium import time from selenium.webdriver.common.keys import Keys from selenium import webdriver import requestsimport os import sys sys.setrecursionlimit(100000)#爬取堆糖插畫 #def driver options = webdriver.ChromeOptions() # 更換頭部,這一步好像沒什么用,每頁有120張圖片,最后只能爬86張,不知道什么原因啊??頭禿 options.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"') driver = webdriver.Chrome(options=options,executable_path="C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")def q(page_num):return f'https://www.duitang.com/category/?cat=painting#!hot-p{page_num}'def scroll_pages(html):html = driver.find_element_by_tag_name('html')for i in range(10):html.send_keys(Keys.END)time.sleep(1)def get_img_url():links = driver.find_elements_by_css_selector('div.mbpho>a>img')for link in links:src = str(link.get_attribute('src')).split('.')del src[-2]del src[-2]img_url = src[0] + "." + src[1] + '.' + src[2] + '.' + src[3]print(img_url)if os.path.exists('illustration') is False:os.mkdir('illustration')img_name = img_url.split('/')[-1]filename = os.path.join('illustration', img_name)r = requests.get(img_url)with open(filename, "wb") as f:f.write(r.content)for i in range(1,85):q(i)driver.get(q(i))scroll_pages(q(i))get_img_url()time.sleep(10)運行結果如下:
麻麻再也不用擔心我沒有手機壁紙了呢!!
總結
以上是生活随笔為你收集整理的selenium爬堆糖网壁纸的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 企业上软件,选择ERP还是ERC
- 下一篇: 2-44钟静雯_day03