Python爬虫解析html：lxml的HtmlElement对象获取和设置inner html
2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>
我在我的個(gè)人博客“猿人學(xué)網(wǎng)站”和公眾號(hào)“猿人學(xué)Python”上寫(xiě)Python教程，有興趣的可以關(guān)注公眾號(hào)和網(wǎng)站。
Python的lxml是一個(gè)相當(dāng)強(qiáng)悍的解析html、XML的模塊，最新版本支持的python版本從2.6到3.6，是寫(xiě)爬蟲(chóng)的必備利器。它基于C語(yǔ)言庫(kù)libxml2 和 libxslt，進(jìn)行了Python范兒(Pythonic)的綁定，成為一個(gè)具有豐富特性又容易使用的Python模塊。雖然特性豐富，但是它在修改數(shù)節(jié)點(diǎn)時(shí)又缺少了些接口，比如本文講到的獲取 inner html 和 設(shè)置（修改）inner html功能。
解析網(wǎng)頁(yè)的html一般使用lxml.html模塊，步驟很簡(jiǎn)單分三步走：
(1) 導(dǎo)入模塊：
import lxml.html
(2) 把html轉(zhuǎn)換為html document 樹(shù)，根節(jié)點(diǎn)就是<html>標(biāo)簽：
doc = lxml.html.fromstring(html)
(3) 使用xpath查找要提取的節(jié)點(diǎn)：
nodes = doc.xpath('//div[@class, 'the']/div[@id, 'xpath']')
以上三步分成簡(jiǎn)潔，實(shí)際使用中，可能要反復(fù)第三部，通過(guò)不同的xpath獲得不同的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)提取。
可以說(shuō)，lxml解析（只讀模式）html的功能又強(qiáng)大又方便。但是，如果需要修改（寫(xiě)模式）某些節(jié)點(diǎn)的html就有點(diǎn)困難了，它在這方面提供的API很少，只有修改節(jié)點(diǎn)tag屬性的API，比如修改節(jié)點(diǎn)的class，id，href等屬性是可以的。
那么如何操作節(jié)點(diǎn)的實(shí)際html字符串呢？
1. 獲取節(jié)點(diǎn)的inner html
那么，什么是inner html呢？首先，我們來(lái)看一段html代碼示例：
<div class=”text”>這是div<a href=”/node”>節(jié)點(diǎn)</a>內(nèi)容</div>
對(duì)于div 這個(gè)html標(biāo)簽節(jié)點(diǎn)，它的inner html就是:
這是div<a href=”/node”>節(jié)點(diǎn)</a>內(nèi)容
即該標(biāo)簽包含的所有內(nèi)容；而包含div標(biāo)簽在內(nèi)的全部示例代碼就是div的outer html。
明白了inner html 和 outer html的概念，我們就著手獲取它們。
lxml.html.tostring(html_element) 接口的作用是把一個(gè)節(jié)點(diǎn)及其子節(jié)點(diǎn)形成的樹(shù)轉(zhuǎn)換成html，也就是該節(jié)點(diǎn)的outer html，由此我們來(lái)獲得inner html，并實(shí)現(xiàn)為以下函數(shù)：
def get_inner_html(node): html = lxml.html.tostring(node, encoding="utf8").decode('utf8') p_begin = html.find('>') + 1 p_end = html.rfind('<') return html[p_begin: p_end]2. 設(shè)置節(jié)點(diǎn)的inner html
設(shè)置inner html相較于獲取更復(fù)雜一些，我們還是以上面那段html代碼為例：
<div class=”text”>這是div<a href=”/node”>節(jié)點(diǎn)</a>內(nèi)容</div>
假設(shè)我們要把它的inner html 改成如下字符串：
this is div<a href=”/node”>node</a>text
則操作步驟是：
把以上步驟寫(xiě)出Python函數(shù)就是：
def set_inner_html(node, html):node.text = ''for child in node.getchildren():node.remove(child) 4 fragments = lxml.html.fragments_fromstring(html)if type(fragments[0]) == str:node.text = fragments.pop(0)node.extend(fragments)通過(guò)以上函數(shù)就可以成功把node里面的內(nèi)容設(shè)置成想要的html內(nèi)容，適合在動(dòng)態(tài)修改網(wǎng)頁(yè)結(jié)構(gòu)內(nèi)容時(shí)使用。
轉(zhuǎn)載于:https://my.oschina.net/JUANererer/blog/3025003
總結(jié)
以上是生活随笔為你收集整理的Python爬虫解析html：lxml的HtmlElement对象获取和设置inner html的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： Flutter RichText支持自定
- 下一篇： websocket python爬虫_p