簡介： Kettle是一款開源的ETL工具，純Java實(shí)現(xiàn)，可以在Windows、Unix和Linux上運(yùn)行，提供圖形化的操作界面，可以通過拖拽控件的方式，方便地定義數(shù)據(jù)傳輸?shù)耐負(fù)?。基本講介紹基于Kettle的MaxCompute插件實(shí)現(xiàn)數(shù)據(jù)上云。

Kettle版本：8.2.0.0-342

MaxCompute JDBC driver版本：3.2.8

Setup

下載并安裝Kettle

下載MaxCompute JDBC driver

將MaxCompute JDBC driver置于Kettle安裝目錄下的lib子目錄（data-integration/lib）

下載并編譯MaxCompute Kettle plugin：https://github.com/aliyun/aliyun-maxcompute-data-collectors

將編譯后的MaxCompute Kettle plugin置于Kettle安裝目錄下的lib子目錄（data-integration/lib）

啟動(dòng)spoon

Job

我們可以通過Kettle + MaxCompute JDBC driver來實(shí)現(xiàn)對MaxCompute中任務(wù)的組織和執(zhí)行。

首先需要執(zhí)行以下操作：

新建Job

新建Database Connection
JDBC連接串格式為：jdbc:odps:?project=
JDBC driver class為：com.aliyun.odps.jdbc.OdpsDriver
Username為阿里云AccessKey Id
Password為阿里云AccessKey Secret
JDBC更多配置見：https://help.aliyun.com/document_detail/161246.html

?之后，可以根據(jù)業(yè)務(wù)需要，通過SQL節(jié)點(diǎn)訪問MaxCompute。下面我們以一個(gè)簡單的ETL過程為例：

?

Create table節(jié)點(diǎn)的配置如下：

?

需要注意：

這里Connection需要選擇我們配置好的

不要勾選Send SQL as single statement

Load from OSS節(jié)點(diǎn)配置如下：

?需要注意的點(diǎn)同Create table節(jié)點(diǎn)。有關(guān)更多Load的用法，見：https://help.aliyun.com/document_detail/157418.html

Processing節(jié)點(diǎn)配置如下：

?

需要注意的點(diǎn)同Create table節(jié)點(diǎn)。

Transformation

我們可以通過MaxCompute Kettle plugin實(shí)現(xiàn)數(shù)據(jù)流出或流入MaxCompute。

首先新建Transformation，之后新建Aliyun MaxCompute Input節(jié)點(diǎn)，配置如下：

?

在MaxCompute中新建一張空表，schema與test_partition_table一致。

新建Aliyun MaxCompute Output節(jié)點(diǎn)，配置如下：

?

執(zhí)行Transformation，數(shù)據(jù)便從test_partition_table被下載，后被上傳至test_partition_table_2。

其他

設(shè)置MaxCompute flags

如圖，在執(zhí)行DDL/DML/SQL之前，可以通過set key=value;的方式配置flags。

Script模式

暫時(shí)無法支持

原文鏈接

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的[JDBC] Kettle on MaxCompute 使用指南的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。