資源下載鏈接：ETL服務器安裝手冊
1、rcrm用戶創建：
Linux下新建組命令：
groupadd etl
–添加用戶及指定掛在目錄
useradd -d /home/etl -m etl
–更改新用戶的密碼
passwd etl
mkdir crm
cd crm
mkdir backup
mkdir kettle
mkdir cfg
mkdir data
mkdir log
mkdir reject
mkdir script
cd kettle
mkdir repfile
2、安裝JDK 1.7.0_60(安裝完忽略)
在oracle官網上下載JDK，并安裝
rpm：rpm -ivh jdk-7u60-linux-x64.rpm – 安裝jdk所依賴的rpm 包
bin: chmod +x jdk-7u60-linux-x64.bin
./ jdk-7u60-linux-x64.bin --給目錄賦予執行安裝的權限
tar：tar zxvf jdk-7u60-linux-x64.tar.gz --對JDK安裝包進行解壓
jdk安裝在/opt/目錄下（注：/usr/local/目錄若不存在需新建）

3、ROOT用戶配置環境變量：
3.1 設置環境變量
vi /etc/profile
#set java JDK
JAVA_HOME=/usr/local/jdk1.7.0_60
JRE_HOME=/usr/local/jdk1.7.0_60/jre
ORACLE_HOME=/opt/oracle/instantclient_11_2
TNS_ADMIN=$ORACL{E}_{H}OME/sdk/network/adminL{D}_{L}IBRAR{Y}_{P}ATH=$ORACLE_HOME:$L{D}_{L}IBRAR{Y}_{P}ATHPATH=$PATH:$JAV{A}_{H}OME/bin:$JRE_HOME/bin:$ORACL{E}_{H}OME:/usr/local/zookeeper?3.4.5/binCLASSPATH=$JAVA_HoME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
KETTLE_HOME=/home/ecif/kettle/data-integration
NLS_LANG=‘SIMPLIFIED CHINESE_CHINA.ZHS16GBK’

export JAVA_HOME
export JRE_HOME
export ORACLE_HOME
export PATH
export CLASSPATH
export KETTLE_HOME
export TNS_ADMIN
export LD_LIBRARY_PATH
export NLS_LANG
3.2 使環境變量生效
source /etc/profile --執行source名，對配置文件進行編譯
3.3 檢查jdk是否安裝成功
java –version

表示安裝成功…

4、Kettle安裝
4.1 安裝配置kettle：
1)下載kettle并在服務器上解壓，賦予sh的執行權限(chmod +x *.sh)
Kettle官網下載連接：
http://sourceforge.net/projects/pentaho/files/Data Integration/6.0/pdi-ce-6.0.0.0-353.zip/download
2)使用ecif用戶將kettle綠色安裝包上傳至Linux服務器對應的目錄：
新建目錄：/home/ecif/kettle
上傳kettle綠色安裝包上傳至/home/ecif/kettle下
最終結果： /home/ecif/kettle/pdi-ce-5.4.0.1-130/data-integration

4.2圖形化配置設置
編輯/home/ecif/kettle/pdi-ce-5.4.0.1-130/data-integration/spoon.sh,見下：（紅色部分）
OPT="$OPT $PENTAH{O}_D{I}_{J}AV{A}_{O}PTIONS?Djava.library.path=$LIBPATH -Dorg.eclipse.swt.internal.gtk.cairoGraphics=false

4.3 kettle中文支持安裝
執行以下命令:
1） yum groupinstall “Chinese Support”

2） dbus-uuidgen > /var/lib/dbus/machine-id

4.4 檢查kettle是否安裝成功
1）切換目錄運行kettle
cd /home/ecif/kettle/data-integration/
sh spoon.sh
2）正確啟動展示如下圖：

5、ETL程序下發
5.1 上傳文檔（shell腳本及加密解密程序）

投產當天需將調度腳本上傳至生產LINUX服務器：/home/etl/crm/script 目錄下，需要上傳的腳本見下：

注意： 1)shell腳本是通過sqlplus連接數據庫傳入用戶名和密碼以及TNS名稱即可
2)保證傳入的TNS名稱和/home/etl/crm/cf/etl.cfg中傳入的ORLSID相同即可；
6.2 導入kettle的程序xml文件

Linux下將rcrm作業文件包導入到資源庫之前，需要新建新資源庫，然后將rcrm作業文件包導入
建立資源庫見下圖：點擊”連接資源庫”

2)會出現以下對話框，然后點擊”+”按鈕，添加資源庫

此時會讓你選擇創建文件資源庫還是數據庫資源庫，依照目前我們的做法創建的是文件資源庫，所以按照下圖創建文件資源庫即可；

資源庫信息見下：

新建數據庫連接，并進行rcrm數據連通性測試，點擊”測試” 按鈕，如果測試不成功，需要將OJDBC.jar包放到linux下kettle的安裝目錄中，目錄見下：(/home/etl/crm/kettle/data-integration/lib)

新建完之后，按照下圖操作，點擊”創建或更新” 按鈕，此時會讓在rcrm數據庫中創建資源庫的相關表信息，點擊”是”即可，獲取登錄資源庫權限
在這里插入圖片描述
注：以上是建立整個資源庫的過程。
3)整個資源庫建完之后，導入已開發好的資源庫文件信息，步驟見下：

默認將資源庫文件導入到根目錄，以下是選擇導入資源庫文件存放的路徑

導入資源庫文件的對話框信息見下圖：

4) Kettle數據庫配置信息進行修改
打開資源庫信息(快捷鍵：Ctrl + E)
選擇”連接” 標簽，對數據庫的配置信息進行修改：

在這里插入圖片描述

6.3 KETTLE數據庫連接配置設置(引用變量)
Kettle中使用變量來進行數據庫連接配置，配置步驟見下：
1)進入Kettle安裝目錄：/home/etl/.kettle
2)vi kettle.properties 編輯屬性文件，添加一下信息：（紅色部分以實際生產為準）

#crm數據庫配置信息 DB_IP = 168.31.63.201 DB_SID = xycrm DB_NAME = xycrm DB_PW = xycrm DB_PORTS = 1521

3)參數信息添加完，保存并退出；
4)登錄kettle圖形化界面，修改資源庫連接信息，見下圖：

修改完以上信息，登錄資源庫，并將資源庫中的連接信息一并修改，見圖：

以上數倉的配置信息同理，并進行連通性測試；
6.3 ETL調度介紹

調度分為初始化，日常
已經將shell相關的調度腳本上傳至/home/etl/crm/script目錄下
初始化調度，需在kettle下來進行調度(上線運行一次)：

---

20160707為上線日期,執行以下SQL:
Truncate table b_pub_rqb;
insert into b_pub_rqb
(
object_id
, currentday
, lastday
, nextday
, last_month
,sysstatus
)
values (1, to_date(‘20160707’, ‘yyyymmdd’), to_date(‘20160731’, ‘yyyymmdd’), to_date(‘20160708’, ‘yyyymmdd’), to_date(‘20160707’, ‘yyyymmdd’),‘0’)
;
Commit;

---

初始化調度命令：
nohup /home/etl/crm/kettle/data-integration/kitchen.sh -rep crm -user admin -pass “$REPUSERPASS"?dir/home/etl/crm/kettle/repfile/CRM/FIRST/JOBS/Dispatch?jobTO{L}_{C}R{M}_{D}AIL{Y}_F?level=basic?param:et{l}_{d}ate="${BatchDate}” 2>&1

nohup /home/etl/crm/kettle/data-integration/kitchen.sh -rep crm -user admin -pass “$REPUSERPASS"?dir/home/etl/crm/kettle/repfile/CRM/FIRST/JOBS/Dispatch?jobTO{L}_{C}R{M}_{M}ANUA{L}_F?level=basic?param:et{l}_{d}ate="${BatchDate}” 2>&1

在LINUX下執行以下命令，執行日常任務調度工作，命令見下：
日常任務調度命令見下：
nohup /home/etl/crm/kettle/data-integration/kitchen.sh -rep crm -user admin -pass “$REPUSERPASS"?dir/home/etl/crm/kettle/repfile/CRM/JOBS/Dispatch?jobCR{M}_{M}ANUA{L}_{D}ISPATCH?level=basic?param:et{l}_{d}ate="${BatchDate}” 2>&1

日常作業重調，需要執行以下命令：
日常重調任務命令：
nohup /home/etl/crm/kettle/data-integration/kitchen.sh -rep crm -user admin -pass “$REPUSERPASS"?dir/home/etl/crm/kettle/repfile/CRM/JOBS/Dispatch?jobTO{L}_{C}R{M}_{D}AIL{Y}_{R}EP?level=basic?param:et{l}_{d}ate="${BatchDate}” 2>&1
6.4 KETTLE進程監控
ps –ef |grep ‘kitchen.sh’
ps –ef |grep ‘spoon.sh’
ps -ef | grep TOL_CRM_DAILY --日批作業進程
詳細進程見下圖：

6.5 KETTLE日志監控作業跑批情況
1.查看日志目錄請執行：cd /home/etl/crm/log
2.日志文件夾生成規則：當天跑批日期
3.跑批日志生成規則為：作業名+當天跑批日期+隨機數.log
4.詳細見圖：

：

6.4 KETTLE進程監控
執行如下sql：
select * from e_etl_info;
select * from e_etl_job_info;
詳細進程見下圖：

查看是否成功：

6.5 KETTLE日志監控作業跑批情況
5.查看日志目錄請執行：cd /home/etl/crm/log
6.日志文件夾生成規則：當天跑批日期
3.跑批日志生成規則為：作業名+當天跑批日期+隨機數.log
4.詳細信息見下圖：

總結

以上是生活随笔為你收集整理的ETL服务器安装手册的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。