097实战 关于ETL的几种运行方式
一：代碼部分
1.新建maven項目
2.添加需要的java代碼
3.書寫mapper類
4.書寫runner類
?
二：運行方式
1.本地運行
2.集群運行
3.本地提交集群運行
?
三：本地運行方式
1.解壓hadoop到本地
?
2.修改配置文件HADOOP_HOME
?
3.解壓common的壓縮包
?
?4.將壓縮包的內容拷貝到bin下
?
5.前提
在resource中必須存在core和Hbase的site文件
?
6.上傳數據
新建目錄/eventLogs/2015/12/20
上傳到linux
上傳到HDFS
7.上傳qqwey.dat到ips文件
? 新建文件夾
上傳
8.啟動服務
hdfs
yarn
hbase
zookeeper
?
9.運行
?
9.需要修改linux與Windows環境下不兼容的代碼
只需要重新新建一個包，將源程序添加進去，并修改。
?
10.結果
?
四：集群運行
1.需要將ip的解析文件改成HDFS
?
2.打包方式一（mvn）
）查找源碼位置
）打包（local）
）結果
）打包（dev）
mvn -Pdev clean package
）結果
?
3.打包方式二（eclipse）
）run as—》mav build...
）結果
）打包二（run configuration）
?
）結果
?
4.上傳
?
5.添加jar（mapred在集成hbase時需要的jar包）
?
6.運行
?
五：本地提交集群運行
1.修改集群需要的參數configuration
?
2.
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
轉載于:https://www.cnblogs.com/juncaoit/p/6266524.html
總結
以上是生活随笔為你收集整理的097实战 关于ETL的几种运行方式的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 白户怎么办理信用卡？白户成功申请信用卡的
- 下一篇： 列表和表格---学习笔记02