Python笔记-获取某百科页面所有URL（提取某百科所有URL）
生活随笔
收集整理的這篇文章主要介紹了
Python笔记-获取某百科页面所有URL（提取某百科所有URL）
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
程序運行截圖如下：
這里分析下頁面：
?
?凡是百度百科的都是在此url上
https://baike.baidu.com/item/xxxxx，所以可以直接提取。
這里我們用個隊列，將這個頁面的所有有關的url入隊，然后出隊列，進行訪問：
還有個要注意的，要偽造成瀏覽器，不然會回數據
import requests import queue import time from bs4 import BeautifulSoupheader = {'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','Accept-Language' : 'zh-CN,zh;q=0.9','Cache-Control' : 'no-cache','Connection' : 'keep-alive','Cookie' : 'xxxxxxx','Host' : 'baike.baidu.com','Pragma' : 'no-cache','User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36','sec-ch-ua' : '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"' }baseUrl = "https://baike.baidu.com/item/" urlQueue = queue.Queue(10000)def getRequest(url):response = requests.get(url, headers = header)return response.textpassif __name__ == '__main__':urlQueue.put('%E7%BB%9F%E8%AE%A1%E5%AD%A6/1175')for i in range(100):url = urlQueue.get()content = getRequest(baseUrl + url)contentSoup = BeautifulSoup(content, "html.parser")urlAllList = contentSoup.select("a")for urlTmp in urlAllList:if urlTmp.attrs.__contains__('href'):urlString = urlTmp['href']if '/item' in urlString:testUrl = urlString.split('/item/')[1]urlQueue.put(testUrl)passpasspassprint('over')pass總結
以上是生活随笔為你收集整理的Python笔记-获取某百科页面所有URL（提取某百科所有URL）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： canvas笔记-使用arc与lineT
- 下一篇： websocket python爬虫_p