原標(biāo)題：MySQL數(shù)據(jù)傳輸中dtle 之 job 實(shí)現(xiàn)簡(jiǎn)析-愛(ài)可生

作者：呂海龍

愛(ài)可生 DTLE 團(tuán)隊(duì)成員，負(fù)責(zé) DTLE 開(kāi)發(fā) ，日常問(wèn)題處理以及相關(guān)問(wèn)題的排查。

本文來(lái)源：原創(chuàng)投稿

*愛(ài)可生開(kāi)源社區(qū)出品，原創(chuàng)內(nèi)容未經(jīng)授權(quán)不得隨意使用，轉(zhuǎn)載請(qǐng)聯(lián)系小編并注明來(lái)源。

從 job 文件到源端目標(biāo)端的數(shù)據(jù)傳輸，dtle 到底是如何實(shí)現(xiàn)的？

傳輸過(guò)程中的高可用，又是由誰(shuí)實(shí)現(xiàn)呢？

下面，我們就簡(jiǎn)單的介紹一下，job 實(shí)現(xiàn)的大體流程。

結(jié)構(gòu)

如上圖所示，在 job 被傳入服務(wù)器中，為了將 job 中的任務(wù)映射到客戶端，job 會(huì)形成兩個(gè) allocation，task，以及 driver，而 job 實(shí)現(xiàn)期間的服務(wù)器分配，則是通過(guò) evaluation 來(lái)實(shí)現(xiàn)。

evaluation：評(píng)估是 dtle 做出調(diào)度決策的機(jī)制。

allocation：分配是作業(yè)中的任務(wù)組和客戶端節(jié)點(diǎn)之間的映射。分配由 dtle 服務(wù)端創(chuàng)建，作為評(píng)估期間的調(diào)度決策的一部分。

task：job 中聲明的 task，記錄了源端，或者目標(biāo)端的連接信息以及所需要復(fù)制的庫(kù)表信息。

driver：驅(qū)動(dòng)，功能的具體實(shí)現(xiàn)，dtle 數(shù)據(jù)傳輸?shù)木唧w實(shí)現(xiàn)，有 driver 進(jìn)行用實(shí)現(xiàn)。

詳解

evaluation

評(píng)估是 dtle 做出調(diào)度決策的機(jī)制。當(dāng)理想的狀態(tài)(作業(yè))或?qū)嶋H的狀態(tài)(客戶端)發(fā)生變化時(shí)，dtle 創(chuàng)建一個(gè)新的評(píng)估，以確定是否必須采取任何行動(dòng)。在創(chuàng)建一個(gè) job 后，同樣會(huì)觸發(fā)一次評(píng)估。

allocation

allocation，表示 job 的分配，它記錄了 task 的詳細(xì)的信息，同時(shí)，它是 dtle 進(jìn)行高可用部分調(diào)度的一環(huán)，在 dtle 的官方文檔中，我們可以通過(guò)對(duì)應(yīng)的 api 接口，查看 allocation 的信息，并且從中查看到 task 的運(yùn)行狀態(tài)等等信息，報(bào)錯(cuò)信息等等，用戶可以通過(guò) allocation 的報(bào)錯(cuò)信息，確定問(wèn)題來(lái)自于源端，或者目標(biāo)端。

task

通過(guò)官方文檔中的 job 結(jié)構(gòu)，我們可知，task 被分為了源端和目標(biāo)端，他們各自記載了對(duì)應(yīng)的數(shù)據(jù)庫(kù)信息以及所要傳輸?shù)膸?kù)表信息，總體來(lái)說(shuō)，task 是一個(gè)任務(wù)實(shí)現(xiàn)的最基本單元，他指定任務(wù)的驅(qū)動(dòng)、驅(qū)動(dòng)的配置、約束和所需的資源。在 task 啟動(dòng)之后，則會(huì)調(diào)用對(duì)應(yīng)的 driver。

{{ "Name":"dtle-demo", "Tasks":[ { "Type":"Src", "Config":Object{...} }, { "Type":"Dest", "Config":Object{...} } ]}}

driver

driver：driver，執(zhí)行任務(wù)的具體方法，driver 承擔(dān)了數(shù)據(jù)傳輸?shù)木唧w實(shí)現(xiàn)，從讀取 binglog，到數(shù)據(jù)的回放，都由 driver 進(jìn)行實(shí)現(xiàn)。driver 只為數(shù)據(jù)傳輸服務(wù)。

總結(jié)

以上，便是一個(gè) job，從請(qǐng)求提交，到最終實(shí)現(xiàn)所經(jīng)歷的一個(gè)簡(jiǎn)單流程。總體來(lái)說(shuō)，我們一般將 job 的實(shí)現(xiàn)分為兩個(gè)部分，一個(gè)部分是調(diào)度，調(diào)度部分實(shí)現(xiàn) job 的高可用，以及 job 轉(zhuǎn)移等一系列事物。而來(lái)另外一部分，則是傳輸部分的具體實(shí)現(xiàn)，從源端目標(biāo)端的連接，到數(shù)據(jù)的抽取、清洗、回放。

責(zé)任編輯：

總結(jié)

以上是生活随笔為你收集整理的mysql job_MySQL数据传输中dtle 之 job 实现简析-爱可生的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。