爬取北京链家二手房（requests和selenium）
生活随笔
收集整理的這篇文章主要介紹了
爬取北京链家二手房（requests和selenium）
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
從網(wǎng)頁源碼中可以看出這是靜態(tài)網(wǎng)頁，可以直接從源代碼里拿數(shù)據(jù)，先用requests，在用BeautifulSoup解析，最后通過查找獲取數(shù)據(jù)
import requests from bs4 import BeautifulSoupdef get_li():re=requests.get(url,headers=headers)soup=BeautifulSoup(re.text,'html.parser')num=soup.find('ul',class_='sellListContent')return numdef get_data(num):for i in num:try:price=i.find('div',class_='totalPrice totalPrice2').find('span').textsize=i.find('div',class_="houseInfo").textprint(f"{size},價(jià)格為{price}萬")except:passif __name__ == '__main__':for j in range(1, 11):url = f'https://bj.lianjia.com/ershoufang/pg{j}/'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"}lis=get_li()get_data(lis)可以通過改 j 來改爬取網(wǎng)頁的數(shù)量，為防止反爬，所以加個(gè)請求頭，而BeautifulSoup解析后的對象是Tag對象，可以通過class或者id等來查找數(shù)據(jù)。
第二種是selenium方法，
from selenium import webdriver from selenium.webdriver.common.by import Byweb=webdriver.Chrome() web.get('https://bj.lianjia.com/ershoufang/') web.maximize_window() web.implicitly_wait(10) lis=web.find_elements(By.XPATH,'//*[@id="content"]/div[1]/ul/li') for li in lis:try:size=li.find_element(By.CLASS_NAME,'houseInfo').textprice=li.find_element(By.XPATH,'//*[@id="content"]/div[1]/ul/li[1]/div[1]/div[6]/div[1]/span').textprint(f"{size},價(jià)格為{price}萬")except:passinput() web.close()其中的try except是因?yàn)橹虚g有個(gè)li是廣告，但可以通過這種方法將其忽略。
如果最后想要保存的Excel表格中的可以導(dǎo)入xlwt來儲(chǔ)存
總結(jié)
以上是生活随笔為你收集整理的爬取北京链家二手房（requests和selenium）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
