sqoop

part one

1 數據遷移工具
2 通常用于hdfs和關系型數據庫之間
3 實質是mapreduce
4 數據的導入導出是從hdfs的角度來說的,誰讓sqoop是apache的東西呢

part two
1 解壓 sqoop軟件
2 查看命令
3 導入數據

import --connect jdbc:mysql://192.168.239.1:3306/test --driver com.mysql.jdbc.Driver --username root --password 123123 --as-textfile #以文本的方式進行保存 --columns EMPNO,ENAME,JOB,SAL,DEPTNO --table emp --where # 后面可以加條件 1=1 --target-dir hdfs://hadoop001:9000/sqoop/data1/ --null-string # 當表中某一個字段的值為NULL是，使用空格替代 ' ' # ''之間是有一個空格的

4 導出數據
把hdfs的數據導出到mysql

export --connect jdbc:mysql://192.168.239.1/logs_result --driver com.mysql.jdbc.Driver --username root --password 123123 --table stats_view_depth --export-dir hdfs://hadoop001:9000/user/hive/warehouse/stats_view_depth/ -m 1

ps:
(1) 需要mysql的驅動包哦
(2) 如果column全部導入,那么不需要寫這個字段,如果導入若干,需要寫列名

總結

以上是生活随笔為你收集整理的BigBrother的大数据之旅Day 15 sqoop的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。