http://labs.mysql.com

MySQL復制操作可以將數據從一個MySQL服務器(主)復制到其他的一個或多個MySQL服務器(從)。試想一下，如果從服務器不再局限為一個MySQL服務器，而是其他任何數據庫服務器或平臺，并且復制事件要求實時進行，是否可以實現呢？

MySQL團隊最新推出的MySQL

Applier for Hadoop(以下簡稱Hadoop Applier)旨在解決這一問題。

用途例如，復制事件中的從服務器可能是一個數據倉庫系統，如Apache

Hive，它使用Hadoop分布式文件系統(HDFS)作為數據存儲區。如果你有一個與HDFS相關的Hive元存儲，Hadoop

Applier就可以實時填充Hive數據表。數據是從MySQL中以文本文件形式導出到HDFS，然后再填充到Hive。操作很簡單，只需在Hive運行HiveQL語句'CREATE TABLE'，定義表的結構與MySQL相似，然后運行Hadoop Applier即可開始實時復制數據。優勢在Hadoop Applier之前，還沒有任何工具可以執行實時傳輸。之前的解決方案是通過Apache Sqoop導出數據到HDFS，盡管可以批量傳輸，但是需要經常將結果重復導入以保持數據更新。在進行大量數據傳輸時，其他查詢會變得很慢。且在數據庫較大的情況下，如果只進行了一點更改，Sqoop可能也需要較長時間來加載。而Hadoop

Applier則會讀取二進制日志，只應用MySQL服務器上發生的事件，并插入數據，不需要批量傳輸，操作更快，因此并不影響其他查詢的執行速度。實現Applier使用一個由libhdfs(用于操作HDFS中文件的C庫)提供的API。實時導入的過程如下圖所示：

數據庫被映射作為一個單獨的目錄，它們的表被映射作為子目錄和一個Hive數據倉庫目錄。插入到每個表中的數據被寫入文本文件(命名如datafile1.txt)，數據以逗號或其他符號分割(可通過命令行進行配置)。

詳細信息：MySQL

Applier for Hadoop下載地址：mysql-hadoop-applier-0.1.0-alpha.tar.gz(alpha版本，不可用于生產環境)

總結

以上是生活随笔為你收集整理的mysql applier_MySQL推出Applier，可实时复制数据到Hadoop-阿里云开发者社区的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。