當前位置：首頁 > 编程语言 > python >内容正文

python

Python爬虫之旅_(数据解析)_Xpath

發布時間：2024/9/30 python 33 豆豆

生活随笔收集整理的這篇文章主要介紹了 Python爬虫之旅_(数据解析)_Xpath 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

前言：

上次學習過了BeautifulSoup進行解析的，這次就來學習一下Xpath進行解析

0x00:了解Xpath

Xpath解析：最常用且最高效的一種解析方式

Xpath解析原理：——1.實例化一個etree對象，且需要將解析的頁面源碼數據加載到該數據中。——2.調用etree對象中的xpath方法結合xpath表達式實現標簽的定位和內容的捕獲如何實例化一個etree對象——1.將本地的html文檔中的源碼數據加載到etree對象中：etree.parse(filePath)——2.可以將從互聯網上獲取的源碼數據加載到該對象中：etree.HTML('page_text')——xpath('xpath表達式') xpath表達式—— /:表示的是從根節點開始定位，表示的是一個層級。—— // :表示的是多個層級,可以從任意位置開始定位—— 屬性定位: //div[@class='dingpai']tag[@attrName="attrValue"]——索引定位://div[@class="dingpai"]/p[3] 索引是從1開始的——取文本:—— /test() 獲取的是標簽中直系的文本內容—— //test() ——取屬性:/@attrName//div[@class="dingpai"]//a[1]/@href

測試文本：

練習代碼：

import requests from lxml import etree if __name__ == '__main__':#實例化一個etree對象，且將被解析的源碼加載到該對象中tree = etree.parse('test.html')# r = tree.xpath('/html/div/li')# r = tree.xpath('/html//li')# r = tree.xpath('//li')# r = tree.xpath('//div[@class="dingpai"]')# r = tree.xpath('//div[@class="dingpai"]/p[3]')#加[0]是為了得到字符串# r = tree.xpath('//div[@class="dingpai"]/li/a[3]/text()')[0]# r = tree.xpath('//a[3]//text()')# r = tree.xpath('//div[@class="dingpai"]//a[1]/@href')[0]print(r)

0x01:爬取58二手房房源信息

這次就使用Xpath來爬取一下58同城房源的標題

通過分析會發現這樣的層級關系,各個房源的信息標題都存在這個層級之中
ul class="house-list-wrap">li>div class="list-info">h2 class="title">a
分析好之后，便可以使用xpath來進行解析

import requests from lxml import etreeif __name__ == '__main__':url = 'https://jiaozuo.58.com/ershoufang/'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}content = requests.get(url=url,headers=headers).text#數據解析tree = etree.HTML(content)#存儲的是li標簽的對象li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')fp = open('58.txt','w',encoding='utf-8')for li in li_list:#從li標簽開始調用#./表示的是局部的li標簽,直接定位到局部title = li.xpath('./div[2]/h2/a/text()')[0]# print(title)price = li.xpath('./div[3]/p/b/text()')[0]print(price+"萬")fp.write(title+price+'萬'+'\n')

這樣最需要注意的便是這個./，這個可以直接定位到當前的li標簽而如果使用//的話就又從跟目錄解析了

爬取成功

0x02:爬取4K超清壁紙

利用Xpath來爬取4K超強壁紙，首先還是需要分析一下：

我們需要爬取是圖片的鏈接和名稱，F12可以看到層級關系是這樣的

div class="slist" >ul>li>a

分析一個其他用循環即可，下面就來寫出爬取腳本：

import requests from lxml import etreeif __name__ == '__main__':url = 'http://pic.netbian.com/4kdongman/'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}repose = requests.get(url=url,headers=headers).text#進行實例化tree = etree.HTML(repose)#得到所有的li列表li_list = tree.xpath('//div[@class="slist"]/ul/li')for li in li_list:#得到圖片的url，但這里不是完整的，所以需要拼接一下img_url = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]#得到圖片的名稱imge_name = li.xpath('./a/img/@alt')[0]+'.jpg'print(imge_name+':'+img_url)

這樣就可以得到圖片的鏈接和名稱了，但是出現了一個問題

名稱發生了亂碼，這里就需要自己手動設置響應數據的編碼格式了

repose = requests.get(url=url,headers=headers)#手動進行設置響應數據的編碼格式repose.encoding = 'gbk'page_txt = repose.text

這是第一種方法，對整體的響應數據設置特定的編碼格式

#通用處理中文亂碼的解決方法 image_name = imge_name.encode('iso-8859-1').decode('gbk')

接下來就只需請求圖片的url，進行爬取即可

import requests from lxml import etree import os if __name__ == '__main__':url = 'http://pic.netbian.com/4kdongman/'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}repose = requests.get(url=url,headers=headers)#手動進行設置響應數據的編碼格式repose.encoding = 'gbk'page_text = repose.text#進行實例化tree = etree.HTML(page_text)#得到所有的li列表li_list = tree.xpath('//div[@class="slist"]/ul/li')#創建一個文件夾if not os.path.exists('pic'):os.mkdir('pic')for li in li_list:#得到圖片的url，但這里不是完整的，所以需要拼接一下img_url = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]#得到圖片的名稱imge_name = li.xpath('./a/img/@alt')[0]+'.jpg'#通用處理中文亂碼的解決方法# image_name = imge_name.encode('iso-8859-1').decode('gbk')# print(imge_name,img_url)#請求圖片，持久化存儲.二進制數據用contentimg_data = requests.get(url=img_url,headers=headers).content#圖片路徑img_path = 'pic/'+imge_name#進行IO操作，將圖片存儲到文件夾中with open(img_path,'wb') as fp:fp.write(img_data)print(imge_name,"下載成功")

爬取成功

（PS:看看就行，分辨率太小）

0x03:使用|運算符獲取相同信息

在爬取的過程中就會發現爬取相同的信息（如熱門城市和全部城市），但信息分別位于不同的標簽中,如果我們使用兩個語句去進行解析，在這個過程還要再次循環，效率有點低。遇到這種問題便可以使用如下這種語句

#div/ul/li/a 熱門城市a標簽的層級關系 #div/ul/div[2]/li/a 全部城市a標簽的層級關系使用一行代碼解析全部 tree.xpath('//div/ul/li/a | div/ul/div[2]/li/a') 中間添加一個|運算符進行分割即可獲取全部

0x04:爬取各個城市的空氣質量

分析和之前一樣，就不再敘述

import requests from lxml import etreeif __name__ == '__main__':url = 'http://www.tianqi.com/air/?o=desc'headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}reponse = requests.get(url=url,headers=headers).text#實例化一個對象tree= etree.HTML(reponse)#解析出所有的li標簽列表li_list = tree.xpath('//div[@class="wrapbox newsmain"]//ul[@class="aqi_ranklist"]/li')fp = open('城市空氣質量.txt','w',encoding='utf-8')for li in li_list:city_sort = li.xpath('./span[1]/text()')[0]# print(city_sort)city_name = li.xpath('./span/a/text()')[0]# print(city_name)city_province = li.xpath('./span[3]/text()')[0]# print(city_province)city_air = li.xpath('./span[4]/text()')[0]# print(city_air)air_condition = li.xpath('./span[5]/i/text()')[0]# print(air_condition)fp.write(city_sort+' '+city_name+' '+city_province+' '+city_air+' '+air_condition+'\n')print(city_sort+' '+city_name+' '+city_province+' '+city_air+' '+air_condition+'\n') print('Over!')

爬取成功

總結

這次就學習到這里，有空繼續學習！！！

總結

以上是生活随笔為你收集整理的Python爬虫之旅_(数据解析)_Xpath的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。