java單線程爬蟲使用Jsoup爬取bt磁力鏈接

import java.io.FileWriter; import java.io.IOException; import java.net.URLEncoder; import java.util.Random; import java.util.Scanner;import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;/** * @Title: AntSpider.java * @Package com.guanglan.spider * @Description: TODO * @author guanglan * @date 2016年9月10日 下午3:09:24 * @version V1.0 */ public class AntSpider {private final static String baseUrl = "http://www.btany.com/search/";public static String getData(String key) throws IOException{Document doc = Jsoup.connect(baseUrl+key+"-first-asc-1").header("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2").timeout(5000).get();Element element = doc.getElementsByClass("bottom-pager").first().children().last();String index = element.attr("href").toString();String pageNum = index.substring(index.lastIndexOf("-")+1,index.length());int indexPage = Integer.valueOf(pageNum);System.out.println("當前搜索關鍵詞共查詢到"+indexPage+"個頁面相關的數據!");StringBuffer sbf = new StringBuffer();for(int i=1 ; i <= indexPage ; i++){System.out.println("當前已加載并分析第"+i+"個頁面======================================================》》》");Document docIndex = Jsoup.connect(baseUrl+key+"-first-asc-"+i).header("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2").get();Elements search = docIndex.getElementsByClass("search-item");for(Element e : search){sbf.append("鏈接名稱:"+e.child(0).text()+"\n"+e.child(2).child(0).text()+"\n"+e.child(2).child(1).text()+"\n"+e.child(2).child(2).text()+"\n"+e.child(2).child(3).text()+"\n"+e.child(2).child(4).text()+":"+e.child(2).child(4).attr("href")+"\n"+e.child(2).child(5).text()+":"+e.child(2).child(5).attr("href")+"\n\n ===========光藍Comet=====================光藍Comet=====================光藍Comet==========================>>>\n\n");}}System.out.println("恭喜您!頁面加載完成...");return sbf.toString();}public static void main(String[] args) throws IOException {System.out.println("請輸入需要查詢的關鍵字o(^▽^)o。。。");String key = URLEncoder.encode(new Scanner(System.in).next(),"utf-8");System.out.println("正在為您在網上搜尋數據呦，請稍后。。。");String str = getData(key);FileWriter writer;int id = new Random().nextInt(1000);try {System.out.println("正在為您寫入文件。。。");writer = new FileWriter(id+".txt");writer.write(str);writer.flush();writer.close();} catch (IOException e) {e.printStackTrace();}finally {System.out.println("恭喜您，文件寫入完成!,文件名是"+id+".txt");}}}原文鏈接：http://www.sogablog.com/blog?id=UfbXI9wV

*———-
首先在Main入口執行輸入要查詢關鍵字，執行完畢以后刷新下項目就能看到下載的磁力鏈接列表了。。。o(^▽^)o*

總結

以上是生活随笔為你收集整理的java单线程爬虫使用Jsoup爬取bt磁力链接的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。