1、前言

該技術博客是根據B站狂神說Java教程的筆記總結，希望能為大家帶來幫助！

2、Jsoup實戰案例

爬蟲可以理解為爬取數據，所謂爬取數據就是：

獲取請求返回的頁面信息，篩選出我們想要的數據

如果想要爬取數據，需要通過jsoup，所以首先我們需要創建一個maven項目，在maven中導入jsoup依賴jar包：

<!--jsoup：用于解析網頁。不能爬取電影、音樂等--> <!--如果想要爬取電影音樂資源，需要導入tika依賴--> <dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</version> </dependency>

我們使用京東頁面進行數據爬取展示，網址如下：

http://search.jd.com/Search?keyword=java

數據爬取案例代碼展示如下：

//創建實體類，用于封裝頁面中需要爬取的數據 public class Content {private String title;private String img;private String price;//可以自己酌情添加屬性public Content(String title, String img, String price) {this.title = title;this.img = img;this.price = price;}@Overridepublic String toString() {return "Content{" +"title='" + title + '\'' +", img='" + img + '\'' +", price='" + price + '\'' +'}';} } ================================================================================= import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.net.URL; import java.util.ArrayList; import java.util.List;public class HtmlParseUtil {public static void main(String[] args) throws Exception {//進行測試，調用方法，輸入想要爬取數據的關鍵字HtmlParseUtil util = new HtmlParseUtil();List<Content> list = util.parseJD("三國演義");for (Content content : list) {System.out.println(content);}}public List<Content> parseJD(String keywords) throws Exception {//獲取請求，我們使用京東頁面作為演示例子：http://search.jd.com/Search?keyword=[keywords]//注意：爬取數據過程需要聯網String url = "http://search.jd.com/Search?keyword=" + keywords;//得到url后，解析網頁，該 Document對象 就是瀏覽器 Document對象Document document = Jsoup.parse(new URL(url), 30000);Element element = document.getElementById("J_goodsList");//獲取所有的li元素Elements elements = element.getElementsByTag("li");//創建ArrayList集合，將所有的查詢對象添加到集合中ArrayList<Content> goodsList = new ArrayList<>();//獲取li元素中的內容，這里的el就是每一個li元素for (Element el : elements) {//關于這種圖片特別多的網站，所有的圖片都是延時加載的//代碼中的p-price,p-name等屬性名是通過手動審查網頁元素得到String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");String price = el.getElementsByClass("p-price").eq(0).text();String title = el.getElementsByClass("p-name").eq(0).text();goodsList.add(new Content(title, img, price));}return goodsList;} }

輸出結果如下：

Content{title='三國演義（套裝上下冊）（全二冊）（中國古典文學讀本叢書，1-9年級必讀書單） 三國演義（套裝上下冊）（全二冊）（中國古典文學讀本叢書，1-9年級必讀書單）', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/54594/9/2803/246916/5d0a1635E98b4dc52/095f4cc72141902f.jpg', price='￥32.00'} Content{title='三國演義（上下冊）（四大名著原著大字本：《語文》推薦閱讀叢書 ） 四大名著大字本，教育部統編語文推薦閱讀;內容經典，字大行疏，閱讀舒適（隨書附贈：《三國演義地圖》+《三國時期大事年表》）', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/56082/2/5824/222939/5d36afd7E6dabc2e3/79b0dbeec5f3a45d.jpg', price='￥67.30'} Content{title='完整無刪減四大名著全套原著正版 初中生版三國演義西游記水滸傳紅樓夢正版注音注釋小學生四大名著文言文', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/162155/1/15679/301700/6065278aE99eddbea/601d9628cfa862f2.jpg', price='￥188.00'} Content{title='三國演義（新版，易中天推薦版本） 以毛本為底本，結合明代嘉靖本、《三國志》等綜合匯校，恢復羅貫中筆下豐富立體的重要人物形象。原創繪制53幅戰役細節圖輕松了解戰爭全貌。', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/167308/5/3682/285853/60094d48E69a6783b/1585b58c6bf9a577.jpg', price='￥128.00'} Content{title='附贈地圖三國演義(上下) 原著四大名著完整版120回帶注解 適用中學生閱讀文言文白話文 人民文學出版 附贈人物關系圖點擊查看三國演義(上下)+紅樓夢(上下)共四冊，原版原著無刪減人民文學出版三國演義(上下)+紅樓夢(上下)共四冊，原版原著無刪減', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/167460/36/6652/649699/60305acdEfa62a6fd/2fe9b6e211bc8bee.png', price='￥23.80'} Content{title='凱叔三國演義全集1-16(套裝共16冊，故事大王凱叔白話文版三國演義) 3000萬家長喜愛的凱叔講三國演義，同名音頻節目全網熱銷10萬單。 100冊以上團購優惠聯系電話4006186622', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/62383/20/10571/473164/5d7ef051E573df628/47e167078abfcc97.jpg', price='￥523.50'} Content{title='三國演義幼兒美繪本 套裝全10冊中國四大名著彩繪注音版有聲伴讀 3-6歲兒童繪本幼小銜接包郵 畫給3-8歲孩子的中華經典名著，大字注音，有聲伴讀，41款夸張角色，600余張精美插圖，29個三國問答，10大智力挑戰，以一種超有趣的方式親近名著經典。', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/156113/8/12402/404575/60408d3dE64dbb64c/88127e66c1933e1e.jpg', price='￥146.60'} Content{title='三國演義連環畫60冊 函裝藍皮珍藏老版懷舊四大名著連環畫小人書全套經典兒童故事繪本漫畫課外讀物上海人民美術出版社 四大名著連環畫小人書全套經典兒童故事繪本漫畫課外讀物,經典文學連環畫小人書重溫兒時經典64開 100冊以上團購優惠聯系電話4006186622', img='//img11.360buyimg.com/n1/s200x200_jfs/t24994/176/468629036/282859/9632737a/5b70efffNab3a910a.jpg', price='￥140.10'} Content{title='三國演義（套裝上下冊）（四大名著珍藏版） 三國演義（套裝上下冊）（四大名著珍藏版）', img='//img11.360buyimg.com/n1/s200x200_jfs/t14908/140/1805436643/298667/d338c47b/5a5c51aeN82065441.jpg', price='￥149.90'} Content{title='三國演義（上下）（《語文》推薦閱讀叢書 人民文學出版社） 100冊以上團購優惠聯系電話4006186622三國演義/四部古典/人民文學出版社2018版/版本完善，編校精良，助力成長', img='//img14.360buyimg.com/n1/s200x200_jfs/t1/129878/18/7185/159574/5f38b2d0E1c1977ae/8eb7021e61ba19c0.jpg', price='￥48.00'} Content{title='四大名著全套小學生版原著正版青少年兒童版白話文水滸傳紅樓夢西游記三國演義小學生世界名著小說 四大名著全套小學生版原著正版青少年兒童版白話文水滸傳紅樓夢西游記三國演義小學生世界名著小說', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/120726/1/15957/259183/5f9394e7E68a82bea/86c17acf56bbe577.png', price='￥48.80'} Content{title='四大名著青少版 三四五六年級課外書 兒童讀物10-14歲 美繪插圖三國演義水滸傳紅樓夢西游記原著 正版 618限時鉅惠！全場領券滿99-10！', img='//img14.360buyimg.com/n1/s200x200_jfs/t1/186871/10/9576/260100/60d0457dE654a5a34/667edb41056abfb6.jpg', price='￥148.00'} Content{title='精裝四大名著全套原著版正版少兒青少年版原版學生版全集套裝4中國古典文學歷史書籍小說三國演義', img='//img14.360buyimg.com/n1/s200x200_jfs/t16447/238/1022153067/404527/1e971c4b/5a4d8323N8d188fcc.jpg', price='￥98.00'} Content{title='三國演義（ 精裝四大名著 足本典藏 無障礙閱讀 注音解詞釋疑） 嚴格依據三國演義原著，文中加入刻本繡像，與原文相得益彰，不僅美觀，還能增進對文章的理解。百年老舍商務印書館品質保證 100冊以上團購優惠聯系電話4006186622', img='//img14.360buyimg.com/n1/s200x200_jfs/t5722/315/350498085/369749/4653240c/591ebf98Nff38b7d6.jpg', price='￥27.00'} Content{title='中國四大古典名著連環畫 禮盒套裝全136冊 徐宏達 西游記水滸傳三國演義紅樓夢連環畫小人書老版懷舊經典收藏版 名家圖畫四大名著數代國人的審美啟蒙讀物,禮盒套裝全136冊徐宏達西游記水滸傳三國演義紅樓夢連環畫小人書老版懷舊經典收藏版', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/10797/1/6724/87409/5c24083cE09cb99d1/d2ea2265385befbe.jpg', price='￥260.00'} Content{title='中國古典文學讀本叢書：四大名著權威定本（紅樓夢+三國演義+水滸傳+西游記）（套裝共8冊） 中國古典文學讀本', img='//img13.360buyimg.com/n1/s200x200_jfs/t1/52144/5/2758/238626/5d0a157aE9c12b5e6/e08cae235dd1456a.jpg', price='￥159.70'} Content{title='李鵬飛給孩子講三國演義（全6冊，贈考點一本通、三國演義主要人物圖譜、音頻課） 北京大學教授、中國古代文學專家——李鵬飛，帶孩子真正讀懂《三國演義》，提升語文素養，掌握應試技能！羅振宇、張泉靈、高考語文名師申怡等推薦閱讀！', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/172825/32/6008/169826/60823eb2E55f122ef/a035ecf466ef5bbf.jpg', price='￥285.10 ￥278.00'} Content{title='三國演義（套裝上下冊） 中國古代小說名著插圖典藏系列', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/78862/6/9172/488636/5d6e05d4E31443e8d/a14ff6dd5177bae0.jpg', price='￥32.40'} Content{title='大字足本無刪減版 中國四大名著三國演義水滸傳西游記紅樓夢全套原著正版文言文學生無障礙閱讀珍藏版', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/118752/11/2179/155846/5ea00ef2E0a2d8de1/f8ebb29d0ce607ed.jpg', price='￥228.00'} Content{title='四大名著（全四冊 精裝彩色插圖珍藏本 附贈精美書簽）西游記+紅樓夢+水滸傳+三國演義 完整無刪減，每冊書后均附有人物關系圖，并附贈人物關系圖小冊子。古典繡像插圖，生動形象。無障礙閱讀，注音釋義，通俗易懂。鎖線裝訂，結實耐用。', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/141487/16/14134/526198/5faba12aEd0bc4168/e09ee74a3e799e33.jpg', price='￥196.20'} Content{title='三國演義/快樂讀書吧五年級下冊無障礙閱讀學生版兒童文學四大名著（無障礙閱讀彩插本） 兒童文學課外閱讀精讀版。新老版本隨機發貨，封面不同內容一致100冊以上團購優惠聯系電話4006186622', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/114747/16/13471/118607/5f238c23Ec03fb43b/2e8c86a16d8db852.jpg', price='￥18.60'} Content{title='漫畫中國古典名著：西游記 三國演義 水滸傳 紅樓夢（套裝共4冊） 薇婭推薦100冊以上團購優惠聯系電話4006186622', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/123178/6/19726/269260/5fbb5345E8c9692bc/bf9397b8dcd1cea6.jpg', price='￥120.00'} Content{title='學生基礎閱讀書目·中國古典文學經典名著·適合青少年閱讀白話美繪版·四大名著·上下卷：三國演義 100冊以上團購優惠聯系電話4006186622', img='//img13.360buyimg.com/n1/s200x200_jfs/t19756/212/1271659156/246824/a804b94d/5ac429aeN85a04c72.jpg', price='￥79.80'} Content{title='三國演義 精裝硬殼 原著無刪減 文白對照 全注全譯 中國古典小說經典名著 中國文聯 三國演義 精裝硬殼 原著無刪減 文白對照 全注全譯 中國古典小說經典名著 中國文聯', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/129232/3/18302/215793/5faf39d0E3c8f534e/d5b820bd609dbb5a.jpg', price='￥18.80'} Content{title='三國演義 原著青少年版高中成人原文無刪減無障礙學生版原文注釋生僻字注音解釋 精裝', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/3907/11/9084/513022/5bab444bEa78e1a20/9296fc46957b19b5.png', price='￥26.10'} Content{title='四大名著青少版：西游記+紅樓夢+水滸傳+三國演義 快樂讀書吧五年級下冊閱讀 新老版本隨機發智慧熊圖書 汪峰推薦，章節導讀，增加讀后感，增加成長啟示和寫作積累單元，書末加入知識考點查漏補缺。培養孩子堅強品格。五年級單品100冊以上請打優惠電話4006186622', img='//img14.360buyimg.com/n1/s200x200_jfs/t1/157616/18/17357/297951/606ea2acE0ec53a40/ba72fb91679e56c3.jpg', price='￥44.40'} Content{title='三國演義/全本無刪減 無障礙閱讀 五年級下必讀 （贈京師大講堂視頻解析） 北京市特級教師視頻講解，為學生掃清閱讀障礙。北師大文學博士王海洋通過導讀、注釋、評析解讀整本書，幫學生領悟名著精髓，經典版本精心呈現。 100冊以上團購優惠聯系電話4006186622', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/132370/21/9433/467397/5f57379fEb646e7ae/dbcfd7eb92f3876f.jpg', price='￥41.10'} Content{title='三國演義（青少年無障礙閱讀版 新課標必讀） 白話文，生僻字注音，任務關系圖，好讀易懂的四大名著 100冊以上團購優惠聯系電話4006186622', img='//img14.360buyimg.com/n1/s200x200_jfs/t3331/245/1086508122/304733/9b91e634/581c4edbN814ce19f.jpg', price='￥29.80'} Content{title='四大名著全套小學生版注音版4冊西游記三國演義水滸傳紅樓夢完整版原著正版兒童版帶拼音青少年版小學課外書 學生少兒課外閱讀書籍學校指定小學生版加厚注音全套4冊', img='//img13.360buyimg.com/n1/s200x200_jfs/t1/135995/26/19472/319879/5fd46ec0Efb7e3f01/8b8a42d1f5279439.jpg', price='￥129.80'} Content{title='全套四大名著兒童版注音原著西游記三國演義紅樓夢水滸傳青少版一年級二年級課外書7-10歲閱讀兒童書籍 四大名著 全套四大名著兒童版注音原著西游記三國演義紅樓夢水滸傳青少版一年級二年級課外書7-10歲閱讀兒童書籍 四大名著', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/186710/18/4064/225439/60a4bbf3E2cd54784/399caed6347035a7.jpg', price='￥48.00 ￥45.60'}

總結

以上是生活随笔為你收集整理的【Java】Jsoup爬虫快速入门案例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。