分布式維機(jī)百科

分布式維機(jī)百科鏡像服務(wù)和Kiwix項(xiàng)目很高興宣布更新后的鏡像服務(wù)可以開始提供廣泛可用的服務(wù)，更多的新語言版本鏡像服務(wù)也正式上線。

英文版、土耳其語版、緬甸語、阿拉伯語、中文、俄語

你可以隨時(shí)在ipfs.kiwix.org找到最新的列表，還能通snapshot-hashes.yml文件來獲取。

開始時(shí)間

? ??

分布式維機(jī)百科鏡像服務(wù)的想法可以追溯到2017年，當(dāng)時(shí)IPFS項(xiàng)目創(chuàng)建了英文和土耳其語的內(nèi)容快照并存放到IPFS網(wǎng)絡(luò)上。要了解我們這樣做的目的，請閱讀最初的IPFS上的維機(jī)百科 一文。

下面是一個(gè)簡短的狀態(tài)簡報(bào)，包括了優(yōu)化后的使用方法，當(dāng)前搭建過程及存在的問題，以及未來可以貢獻(xiàn)到該項(xiàng)目的工作。

訪問維機(jī)百科鏡像服務(wù)的改進(jìn)方法

用戶友好型的ipns://{dnslink}及公共網(wǎng)關(guān)

帶有IPFS地址支持的瀏覽器Brave, Opera, 或常規(guī)的Firefox和Chromium裝上IPFS Companion就可以使用 DNSLink載入最新的快照:

ipns://{dnslink}

ipns://en.wikipedia-on-ipfs.org

為了確保真正的點(diǎn)對點(diǎn)傳輸，離線存儲和內(nèi)容的完整性，你可以運(yùn)行自己的IPFS節(jié)點(diǎn)，方法是(命令行)或IPFS Desktop桌面端和IPFS Companion瀏覽器擴(kuò)展工具的結(jié)合。你也可以使用內(nèi)置IPFS支持的Brave瀏覽器

當(dāng)你無法運(yùn)行自己的IPFS節(jié)點(diǎn)時(shí)多個(gè)公共網(wǎng)關(guān)中的一個(gè)可以被用作訪問鏡像服務(wù)的代理。

強(qiáng)健及不可篡改的ipfs://{cid}

如果DNS解析被阻擋，或一個(gè)公共網(wǎng)關(guān)無法被信任，那么建議使用底層的密碼內(nèi)容標(biāo)識（CID）來訪問不可篡改的快照。

ipfs://{cid}

特定鏡像服務(wù)的{cid} 標(biāo)識可以通過 snapshot-hashes.yml獲取，或使用ipfs resolve -r /ipns/en.wikipedia-on-ipfs.org從其DNSLink記錄中讀取。

在本文書寫時(shí)，英文版鏡像指向了? ? ipfs://bafybeiaysi4s6lnjev27ln5icwm6tueaw2vdykrtjkwiphwekaywqhcjze。

通過sneakernet來分享CID標(biāo)識是繞過ＤＮＳ問題和審查的流行方式。土耳其人在2017年土耳其屏蔽維機(jī)百科時(shí)使用了這個(gè)方法。歷史不會(huì)重演，但經(jīng)驗(yàn)和教訓(xùn)值得學(xué)習(xí)。今年早期緬甸開始進(jìn)行互聯(lián)網(wǎng)中斷的實(shí)驗(yàn):

為滿足這個(gè)重要的需求，我們創(chuàng)建了一個(gè)緬甸語版本的維機(jī)百科鏡像?，并分享了DNSLink和CID標(biāo)識號：

如何幫助共同存放這些內(nèi)容？

? ??

你可以運(yùn)行自己的IPFS節(jié)點(diǎn)和共同存放維機(jī)百科的一個(gè)子集，存放完整副本，或追蹤協(xié)作集群以自動(dòng)拉入未來更新。

也可以通過將特定CID標(biāo)識pin到遠(yuǎn)程服務(wù)上來貢獻(xiàn)共同存放的成本。

用你自己的IPFS節(jié)點(diǎn)進(jìn)行延遲加載存放服務(wù)

其實(shí)是可以保留一個(gè)延遲加載的副本的。這樣就不需要取回整個(gè)維機(jī)百科了，而是保留瀏覽過的頁面的子集數(shù)據(jù)。

也可以通過將特定CID標(biāo)識后的DAG循環(huán)進(jìn)行pin操作：

循環(huán)pin（recursive pin）會(huì)在本地?cái)?shù)據(jù)存儲器中預(yù)先裝載整個(gè)鏡像。注意，英文版的體積遠(yuǎn)遠(yuǎn)大于其他語言版本，因此對其進(jìn)行pin操作需要幾百ＧＢ的空間，可能需要很長的時(shí)間。

特定鏡像的尺寸可以通過 ipfs files stat /ipfs/{cid}　命令來獲取。

協(xié)作集群

服務(wù)器管理員和高級用戶可以使用一個(gè)高級的選項(xiàng)。wikipedia集群包括了所有的語言版本，其體積隨著時(shí)間推移只會(huì)不斷增加。

若要查看操作指令，可以到collab.ipfscluster.io。

貢獻(xiàn)遠(yuǎn)程pin服務(wù)

當(dāng)共同搭建IPFS節(jié)點(diǎn)不可行時(shí)，還是可以通過將快照的CID標(biāo)識pin到遠(yuǎn)程的pinning服務(wù)上。學(xué)習(xí)如何使用遠(yuǎn)程pinning服務(wù)。

一個(gè)鏡像服務(wù)是如何搭建的？

? ??

當(dāng)前的方法依賴于ZIM格式的維機(jī)百科快照，這是由Kiwix項(xiàng)目提供的。

目前我們還沒有基于Web頁面的ZIM歸檔文件閱讀器（下面的章節(jié)會(huì)細(xì)說）。而且，我們搭建鏡像服務(wù)的方式是一個(gè)復(fù)雜/耗時(shí)的過程。

1. 使用openzim/zim-tools工具來展開（解包）ZIM文檔

2. 調(diào)整HTML/CSS/JS腳本以修復(fù)解包的格式。

3. 將快照導(dǎo)入IPFS。

4. 在解包的IPFS快照中包含原始的ZIM文件。

雖然這是可行的，但由于這依賴于對快照進(jìn)行解壓和定制，因此影響了生成更新的可靠性。而且在Kiwix離線閱讀器上包含原始的ZIM文件也在一定程度上數(shù)據(jù)變得重復(fù)。

我們將會(huì)研究在IPFS上放入來自Kiwix的所有ZIM文件，并為實(shí)現(xiàn)長久儲存放入ipfs網(wǎng)絡(luò)上，這是farm.openzim.org流水線的一部分。

征集幫助，以及現(xiàn)存問題

? ??

搜索功能。目前暫時(shí)沒有搜索功能。利用ZIM文件里現(xiàn)有的索引，或搭建一個(gè)為網(wǎng)頁瀏覽器優(yōu)化的基于有向無環(huán)圖（DAG）的搜索索引可以讓現(xiàn)有的鏡像服務(wù)更為有用。

基于Web網(wǎng)頁的ZIM文件閱讀器。對此項(xiàng)目最大的影響莫過于實(shí)現(xiàn)一個(gè)基于網(wǎng)頁的ZIM歸檔文件閱讀器，讓人們在無需解壓＼無需安裝任何專用軟件的情況下就能夠?yàn)g覽原始的ZIM歸檔文件。想幫助將其變成現(xiàn)實(shí)嗎？

改善ZIM文件在IPFS網(wǎng)絡(luò)上的存放方式。當(dāng)我們在IPFS網(wǎng)絡(luò)上存儲一個(gè)原始的ZIM文件時(shí)，相關(guān)的DAG（有向無環(huán)圖）是通過ipfs add --cid-version 1命令生成的。這個(gè)方法是可行的，但如果對優(yōu)化DAG創(chuàng)建過程開展進(jìn)一步研究，我們或許能夠在進(jìn)行特定字節(jié)范圍請求時(shí)優(yōu)化重復(fù)數(shù)據(jù)刪除過程和提升速度。

下面有幾個(gè)可供探索的不同階段研究內(nèi)容。

第１階段：投入一點(diǎn)時(shí)間去對參數(shù)空間進(jìn)行分析檢測，看看有沒有很容易就發(fā)現(xiàn)的成果。??

第２階段：創(chuàng)建一個(gè)DAG生成器，它能夠理解ZIM格式，并通常將圖形資源以dag-pb存在的子DAG形式來代表，從而最大化地進(jìn)行重復(fù)數(shù)據(jù)刪除。??

第３階段：研究使用IPLD增強(qiáng)或取代ZIM文件。應(yīng)如何在所有的快照和語言之間最大化地提升重復(fù)數(shù)據(jù)刪除的性能？一個(gè)基于IPLD的搜索索引將會(huì)如何工作？

---

鄭州中創(chuàng)算力立足中原，積極響應(yīng)國家新基建號召，緊隨國家戰(zhàn)略，把區(qū)塊鏈分布式數(shù)據(jù)存儲賽道作為公司重點(diǎn)發(fā)展業(yè)務(wù)板塊，為客戶提供集群架構(gòu)、數(shù)據(jù)中心部署、分布式存儲、大規(guī)模集群運(yùn)維、邊緣計(jì)算等一站式解決方案。

深耕分布式存儲 | 邊緣計(jì)算 | 賦能實(shí)體產(chǎn)業(yè)

總結(jié)

以上是生活随笔為你收集整理的中创算力|分布式维基百科新语言版本服务上线，IPFS助力Web3.0!的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。