Shuffle文件尋址

• MapOutputTracker

? ? ? MapOutputTracker是Spark架構(gòu)中的一個模塊，是一個主從架構(gòu)。管理磁盤小文件的地址。

MapOutputTrackerMaster是主對象，存在于Driver中。

MapOutputTrackerWorker是從對象，存在于Excutor中。

• BlockManager

? ? ? BlockManager塊管理者，是Spark架構(gòu)中的一個模塊，也是一個主從架構(gòu)。

BlockManagerMaster,主對象，存在于Driver中。

? ? ? ? ?BlockManagerMaster會在集群中有用到廣播變量和緩存數(shù)據(jù)或者刪除緩存數(shù)據(jù)的時候，通知BlockManagerSlave傳輸或者刪除數(shù)據(jù)。

? ? ? 2.BlockManagerSlave，從對象，存在于Excutor中。

? ? ? ? ?BlockManagerSlave會與BlockManagerSlave之間通信。

• 無論在Driver端的BlockManager還是在Excutor端的BlockManager都含有三個對象：

DiskStore:負(fù)責(zé)磁盤的管理。

MemoryStore：負(fù)責(zé)內(nèi)存的管理。

BlockTransferService:負(fù)責(zé)數(shù)據(jù)的傳輸。

• Shuffle文件尋址圖

• Shuffle文件尋址流程

當(dāng)map task執(zhí)行完成后，會將task的執(zhí)行情況和磁盤小文件的地址封裝到MpStatus對象中，通過MapOutputTrackerWorker對象向Driver中的MapOutputTrackerMaster匯報。

在所有的map task執(zhí)行完畢后，Driver中就掌握了所有的磁盤小文件的地址。

在reduce task執(zhí)行之前，會通過Excutor中MapOutPutTrackerWorker向Driver端的MapOutputTrackerMaster獲取磁盤小文件的地址。

獲取到磁盤小文件的地址后，會通過BlockManager連接數(shù)據(jù)所在節(jié)點(diǎn)，然后通過BlockTransferService進(jìn)行數(shù)據(jù)的傳輸。

BlockTransferService默認(rèn)啟動5個task去節(jié)點(diǎn)拉取數(shù)據(jù)。默認(rèn)情況下，5個task拉取數(shù)據(jù)量不能超過48M。

總結(jié)

以上是生活随笔為你收集整理的Spark _18 _Shuffle文件寻址的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。