幾年前研究大文件的下載分發(fā)，注意到了libtorrent這個(gè)非常完善的BT下載庫，因此對(duì)BT相關(guān)協(xié)議也有了粗淺的了解。于是我用這個(gè)庫提供的接口，實(shí)現(xiàn)了一個(gè)DHT的蜘蛛。

我把這個(gè)蜘蛛放到美國(guó)的不限制UDP和BT協(xié)議的虛擬機(jī)上，每天大概可以采集3000-9000個(gè)BT種子的相關(guān)信息。

之所以選擇做BT蜘蛛，是因?yàn)楫?dāng)時(shí)淘寶上出售的各種DHT蜘蛛，都是帶網(wǎng)頁病毒的，會(huì)感染HTML文件，所以就干脆自己動(dòng)手了，更安全些。

大概介紹一下原理：
BT種子被制作出來之后，會(huì)具有一個(gè)HASH值，這個(gè)HASH值，就可以對(duì)應(yīng)出一個(gè)磁力鏈鏈接，比如：magnet:?xt=urn:btih:F5615DFB80AC995787C1B2219A75DF7805278DEA（這個(gè)F5615DFB80AC995787C1B2219A75DF7805278DEA就是HASH），只要文件內(nèi)容相同，那么HASH就是固定的。

BT軟件啟動(dòng)時(shí)，一般會(huì)自動(dòng)連接到一個(gè)DHT網(wǎng)絡(luò)，這是一個(gè)分布式的UDP網(wǎng)絡(luò)，每臺(tái)機(jī)器維護(hù)著若干跟自己相鄰的其他BT下載者的IP（以下簡(jiǎn)稱節(jié)點(diǎn)）。

當(dāng)BT軟件拿到磁力鏈HASH之后，就會(huì)向周圍的節(jié)點(diǎn)發(fā)布消息，詢問“你有這個(gè)HASH的文件嗎？”如果被詢問的節(jié)點(diǎn)沒有這個(gè)文件，那么這些節(jié)點(diǎn)就會(huì)再向外層繼續(xù)廣播詢問，直到找到這個(gè)種子為止（為避免廣播風(fēng)暴，這個(gè)廣播的最大層級(jí)會(huì)有限制）

當(dāng)找到有一個(gè)節(jié)點(diǎn)X有這個(gè)種子后，當(dāng)前機(jī)器的BT軟件就會(huì)與節(jié)點(diǎn)X連接，請(qǐng)求節(jié)點(diǎn)X把種子發(fā)過來，磁力鏈轉(zhuǎn)種子的工作至此完成。

當(dāng)其他節(jié)點(diǎn)進(jìn)行磁力鏈下載時(shí)，也會(huì)把HASH廣播給你，這樣你拿到了HASH，也就能順手把這個(gè)HASH轉(zhuǎn)化為種子。

這樣，全網(wǎng)流行的BT種子，基本你都可以拿到了。

實(shí)在看不懂原理的可以先看看這個(gè)視頻，大概了解下BT工作機(jī)制：https://www.bilibili.com/video/av57748098/

我把BT磁力鏈蜘蛛源碼傳到了GitHub，如果覺得對(duì)你有用，請(qǐng)不吝賜予我一個(gè)星星。
源碼地址：

https://github.com/Jobcrazy/BitTorrent-DHT-Spider

源碼是基于Linux的，相關(guān)編譯環(huán)境和方法，也有比較詳細(xì)的說明。

簡(jiǎn)單講講main函數(shù)的代碼：
初始化libtorrent，并連接到了DHT網(wǎng)絡(luò)，之后添加了一個(gè)虛假的磁力鏈任務(wù)，促使libtorrent去跟其他的DHT節(jié)點(diǎn)聯(lián)系，來獲取其他節(jié)點(diǎn)正在下載的HASH信息；
監(jiān)聽DHT通知，當(dāng)收到新的HASH信息時(shí)，把HASH添加成BT任務(wù)，向其他節(jié)點(diǎn)請(qǐng)求種子信息；
監(jiān)聽DHT通知，當(dāng)收到種子信息時(shí)，把種子存到mysql數(shù)據(jù)庫里，數(shù)據(jù)庫的結(jié)構(gòu)也在github里了。

當(dāng)數(shù)據(jù)庫里有了數(shù)據(jù)，你需要的是一個(gè)支持中文全文搜索的引擎，來打造一個(gè)磁力鏈搜索引擎，這時(shí)候你可以通過coreseek這個(gè)開源軟件來解決。coreseek的教程網(wǎng)上比較好搜到，這里我就不重復(fù)了。

總結(jié)

以上是生活随笔為你收集整理的基于DHT网络的BT磁力链蜘蛛源码的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。