javascript
JAVA----爬虫(一)JSoup
?
?
jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API,可通過DOM,CSS以及類似于jQuery的操作方法來取出和操作數(shù)據(jù)。
官方api:https://jsoup.org/
一、jsoup功能
?
?
簡單的例子:抓取wiki的主頁,解析成DOM
?
解析一個HTML字符串
目標可能是用戶的一個html文件或網(wǎng)站的一個網(wǎng)頁html.需要對其進行解析并抓取所需要的數(shù)據(jù)-------Jsoup.parse()
Jsoup.parse(String html)
Jsoup.parse(String html,String baseUri)??將輸入的HTML解析為一個新的文檔 (Document),參數(shù) baseUri 是用來將相對 URL 轉(zhuǎn)成絕對URL,并指定從哪個網(wǎng)站獲取文檔
只要解析的不是空字符串,就能返回一個結(jié)構(gòu)合理的文檔,其中包含(至少)?一個head和一個body元素。一旦擁有了一個Document,你就可以使用Document中適當?shù)姆椒ɑ蛩割?Element和Node中的方法來取得相關(guān)數(shù)據(jù)。
解析一個body片段
一個HTML片斷 (比如. 一個?div?包含一對?p?標簽; 一個不完整的HTML文檔) 想對它進行解析。這個HTML片斷可以是用戶提交的一條評論或在一個CMS頁面中編輯body部分------JSous.parseBodyFragment(String html)
?
parseBodyFragment?方法創(chuàng)建一個空殼的文檔,并插入解析過的HTML到body元素中.
Document.body()?方法能夠取得文檔body元素的所有子元素,與?doc.getElementsByTag("body")相同。
?
?
?
從一個URL加載一個Document
需要從一個網(wǎng)站獲取和解析一個HTML文檔,并查找其中的相關(guān)數(shù)據(jù)------Jsoup.connect()
使用?Jsoup.connect(String url)方法:
?
connect(String url)?方法創(chuàng)建一個新的?Connection, 和get()方法一起取得和解析一個html文件
如果從該URL獲取HTML時發(fā)生錯誤,便會拋出 IOException,應適當處理。這個方法只支持Web URLs (http和https?協(xié)議)
?
從一個文件加載document文檔
Jsoup.parse(File in, String charsetName, String baseUri)?
轉(zhuǎn)載于:https://www.cnblogs.com/taoHongFei/p/8643721.html
總結(jié)
以上是生活随笔為你收集整理的JAVA----爬虫(一)JSoup的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Jmeter日志输出和日志级别设置
- 下一篇: javascript 中文与Unicod