文章回顧

理論

大數(shù)據(jù)框架原理簡介

大數(shù)據(jù)發(fā)展歷程及技術(shù)選型

實踐

搭建大數(shù)據(jù)運行環(huán)境之一

搭建大數(shù)據(jù)運行環(huán)境之二

本地MAC環(huán)境配置

CPU數(shù)和內(nèi)存大小

• 查看CPU數(shù)

sysctl?machdep.cpu#?核數(shù)為4machdep.cpu.core_count:?4????#?cpu數(shù)量為8個，使用了超線程技術(shù)：四核八線程machdep.cpu.thread_count:?8??

• 內(nèi)存大小

top?-l?1?|?head?-n?10?|?grep?PhysMemPhysMem:?16G?used?(10G?wired),?67M?unused.

在本地開了3個虛擬機centos服務(wù)器

虛擬機服務(wù)器配置

服務(wù)器1?192.168.84.128?4核4G服務(wù)器2?192.168.84.131?1核2G服務(wù)器3?192.168.84.132?1核2G因為服務(wù)器1上的按照的軟件比較多?所以這樣分配核數(shù)和內(nèi)存?可以將大數(shù)據(jù)環(huán)境運行起來

虛擬機軟件給一個虛擬機分配核數(shù)和內(nèi)存的方式

通過Sqoop查看Mysql數(shù)據(jù)庫

/usr/local/sqoop/bin/sqoop?list-databases?--connect?jdbc:mysql://hadoop001:3306/?useSSL=false?--username?root?--password?123456

在Hive中創(chuàng)建測試表

創(chuàng)建test表

CREATE?TABLE?IF?NOT?EXISTS?test?(id?int,uid?int,title?string,name?string,status?int,time?timestamp)COMMENT?'簡介'ROW?FORMAT?DELIMITEDFIELDS?TERMINATED?BY?"001"LINES?TERMINATED?BY?""STORED?AS?TEXTFILE;

創(chuàng)建test_out表

CREATE?TABLE?IF?NOT?EXISTS?test_out?(name?string,?count?int,time?date)COMMENT?'簡介'ROW?FORMAT?DELIMITEDFIELDS?TERMINATED?BY?'001'LINES?TERMINATED?BY?''STORED?AS?TEXTFILE;

hive刪除表

• 使用truncate僅可刪除內(nèi)部表數(shù)據(jù)，不可刪除表結(jié)構(gòu)

truncate?table?表名(truncate可刪除所有的行，但是不能刪除外部表)

• 使用shell命令刪除外部表

hdfs?-dfs?-rm?-r?外部表路徑

• 使用 drop 可刪除整個表

drop?table?表名

查看hive表

• 查詢hive所有表

hive?-e?"show?databases?;"?>?databases.txtcat?databases.txtdefault

• 指定default數(shù)據(jù)庫

./hive?-d?default

在Mysql中創(chuàng)建測試表

• 創(chuàng)建test

DROP?TABLE?IF?EXISTS?`test`;CREATE?TABLE?`test`?(??`id`?int(10)?DEFAULT?NULL,??`uid`?int(10)?DEFAULT?NULL,??`title`?varchar(100)?DEFAULT?NULL,??`name`?varchar(100)?DEFAULT?NULL,??`status`?int(10)?DEFAULT?NULL,??`time`?timestamp?NULL?DEFAULT?NULL)?ENGINE=InnoDB?DEFAULT?CHARSET=utf8;

插入3條測試數(shù)據(jù)

INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(1,?1,?'第一條數(shù)據(jù)',?'平凡人筆記',?1,?'2021-01-11?16:30:02');INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(2,?2,?'第二條數(shù)據(jù)',?'孟凡霄',?2,?'2021-01-11?16:30:20');INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(3,?3,?'第三條數(shù)據(jù)',?'平凡人',?3,?'2021-01-11?16:30:41');

• 創(chuàng)建test_out

DROP?TABLE?IF?EXISTS?`test_out`;CREATE?TABLE?`test_out`?(??`name`?varchar(100)?DEFAULT?NULL,??`count`?int(10)?DEFAULT?NULL,??`time`?date?DEFAULT?NULL)?ENGINE=InnoDB?DEFAULT?CHARSET=utf8;

Mysql導(dǎo)入Hive

/usr/local/sqoop/bin/sqoop?import?--driver?com.mysql.jdbc.Driver?--connect?jdbc:mysql://hadoop001:3306/test?useSSL=false?--username?root?--password?123456?--table?test?--fields-terminated-by?'001'?--lines-terminated-by?''?--delete-target-dir?--num-mappers?1?--hive-import?--hive-database?default?--hive-table?test?--direct雖然有報錯?ERROR?bonecp.BoneCP:?Unable?to?start/stop?JMXjava.security.AccessControlException:?access?denied?("javax.management.MBeanTrustPermission"?"register")但不影響導(dǎo)入結(jié)果

• 查看hive表

說明從Mysql導(dǎo)入hive成功

增量數(shù)據(jù)定時導(dǎo)入

mysql test表增加一條測試數(shù)據(jù)

INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(4,?4,?'第四條數(shù)據(jù)',?'筆記',?4,?'2021-01-11?16:50:00');

• 刪除指定job

/usr/local/sqoop/bin/sqoop?job?--delete?testJob

• 添加一個增量更新的job

/usr/local/sqoop/bin/sqoop?job?--create?testJob?--?import?--driver?com.mysql.jdbc.Driver?--connect?jdbc:mysql://hadoop001:3306/test?useSSL=false?--username?root?--password?123456?--table?test?--check-column?time?--incremental?lastmodified?--last-value?'2018-08-09?15:30:29'?--merge-key?id?--fields-terminated-by?'001'?--lines-terminated-by?''?--num-mappers?1?--target-dir?/user/hive/warehouse/test

• 執(zhí)行job

/usr/local/sqoop/bin/sqoop?job?--exec?testJob

• 查看數(shù)據(jù)已被更新

• 查看job

/usr/local/sqoop/bin/sqoop?job?--show?testJob

通常情況可以結(jié)合sqoop job和crontab等任務(wù)調(diào)度工具實現(xiàn)相關(guān)業(yè)務(wù)

Hive導(dǎo)入Hive

cd?/usr/local/hive/binhive#?統(tǒng)計后將結(jié)果數(shù)據(jù)加入另一個表INSERT?INTO?TABLE?test_out(name,count,time)?SELECT?name,count(1),to_date(time)?FROM?test?GROUP?BY?name,to_date(time);#?或者INSERT?OVERWRITE?TABLE?test_outSELECT?name,count(1),to_date(time)?FROM?test?GROUP?BY?name,to_date(time);

查看統(tǒng)計結(jié)果

統(tǒng)計成功

Hive導(dǎo)入Mysql

#?hive的default庫中的test_out表數(shù)據(jù)導(dǎo)出到mysql的test庫test_out表/usr/local/sqoop/bin/sqoop?export?--connect?"jdbc:mysql://hadoop001:3306/test?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai"?--username?root?--password?123456?--input-null-string?'N'?--input-null-non-string?'N'?--input-fields-terminated-by?''?--table?test_out?--hcatalog-database?default?--hcatalog-table?test_out?-m?1;導(dǎo)出成功

可能遇到的問題及注意點

• hive訪問mysql數(shù)據(jù)庫權(quán)限問題

服務(wù)器1上hive訪問mysql如果報錯Access?denied?for?user?'root'@'192.168.84.128'?(using?password:?YES)

mysql需要授權(quán)訪問者

GRANT?ALL?PRIVILEGES?ON?*.*?TO?'root'@'192.168.84.128'?IDENTIFIED?BY?'123456'?WITH?GRANT?OPTION;flush?privileges;

• 在namenode上執(zhí)行

報錯：RemoteException(org.apache.hadoop.ipc.StandbyException):Operation?category?READ?is?not?supported?in?state?standby原因：服務(wù)器1是namenode節(jié)點?active?狀態(tài)服務(wù)器2是secondNamenode節(jié)點是?standby狀態(tài)執(zhí)行命令要在active的namenode才可以

• 只有namenode才會有webui 50070端口

服務(wù)器1(192.168.84.128)上安裝namenode?有50070端口服務(wù)器2(192.168.84.131)上安裝secondNamenode?有50070端口服務(wù)器3(192.168.84.132)上沒有安裝namenode?沒有

后記

接下來研究的方向：1、hive運行原理2、弄一筆數(shù)據(jù)走一下搭建好的大數(shù)據(jù)運行環(huán)境3、10億數(shù)據(jù)如何分庫分表存儲Mysql4、10億數(shù)據(jù)同步到hive5、flink數(shù)據(jù)如何求交

總結(jié)

以上是生活随笔為你收集整理的执行sqoop 用shell_Mysql和Hive之间通过Sqoop进行数据同步的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。