hbase集群安装和shell操作
生活随笔
收集整理的這篇文章主要介紹了
hbase集群安装和shell操作
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
版權聲明:本文為博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/qq1010885678/article/details/44596537 1.上傳hbase安裝包
2.解壓
3.配置hbase集群,要修改3個文件(首先zk集群已經安裝好了)
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
讓hbase節點知道hdfs的映射關系,也可以在hbase-site.xml中配置
3.1修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk
//告訴hbase使用外部的zk?
export HBASE_MANAGES_ZK=false
vi hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存儲的路徑 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hbase.rootdir</name>
? ? ? ? ? ? ? ? <value>hdfs://ns1/hbase</value>
? ? ? ? </property>
<!-- 指定hbase是分布式的 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hbase.cluster.distributed</name>
? ? ? ? ? ? ? ? <value>true</value>
? ? ? ? </property>
<!-- 指定zk的地址,多個用“,”分割 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hbase.zookeeper.quorum</name>
? ? ? ? ? ? ? ? <value>cloud4:2181,cloud5:2181,cloud6:2181</value>
? ? ? ? </property>
</configuration>
cloud3
cloud4
cloud5
cloud6
3.2拷貝hbase到其他節點
scp -r ~/hbase/ cloud2:~/
scp -r ~/hbase/ cloud3:~/
scp -r ~/hbase/ cloud4:~/
scp -r ~/hbase/ cloud5:~/
scp -r ~/hbase/ cloud6:~/
4.將配置好的HBase拷貝到每一個節點并同步時間。
5.啟動所有的hbase
分別啟動zk
./zkServer.sh start
啟動hadoop集群
start-dfs.sh
啟動hbase,在主節點(cloud1)上運行:
start-hbase.sh
6.通過瀏覽器訪問hbase管理頁面
192.168.1.201:60010
7.為保證集群的可靠性,要啟動多個HMaster(cloud1和cloud2上都是主節點)
hbase-daemon.sh start master
進入hbase命令行
./hbase shell
顯示hbase中的表
list
創建user表,包含info、data兩個列族
create 'user', 'info1', 'data1'
create 'user', {NAME => 'info', VERSIONS => '3'}
向user表中插入信息,row key為rk0001,列族info中添加name列標示符,值為zhangsan
put 'user', 'rk0001', 'info:name', 'zhangsan'
向user表中插入信息,row key為rk0001,列族info中添加gender列標示符,值為female
put 'user', 'rk0001', 'info:gender', 'female'
向user表中插入信息,row key為rk0001,列族info中添加age列標示符,值為20
put 'user', 'rk0001', 'info:age', 20
向user表中插入信息,row key為rk0001,列族data中添加pic列標示符,值為picture
put 'user', 'rk0001', 'data:pic', 'picture'
獲取user表中row key為rk0001的所有信息
get 'user', 'rk0001'
獲取user表中row key為rk0001,info列族的所有信息
get 'user', 'rk0001', 'info'
獲取user表中row key為rk0001,info列族的name、age列標示符的信息
get 'user', 'rk0001', 'info:name', 'info:age'
獲取user表中row key為rk0001,info、data列族的信息
get 'user', 'rk0001', 'info', 'data'
get 'user', 'rk0001', {COLUMN => ['info', 'data']}
get 'user', 'rk0001', {COLUMN => ['info:name', 'data:pic']}
獲取user表中row key為rk0001,列族為info,版本號最新5個的信息
get 'people', 'rk0002', {COLUMN => 'info', VERSIONS => 2}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5, TIMERANGE => [1392368783980, 1392380169184]}
獲取user表中row key為rk0001,cell的值為zhangsan的信息
get 'people', 'rk0001', {FILTER => "ValueFilter(=, 'binary:圖片')"}
獲取user表中row key為rk0001,列標示符中含有a的信息
get 'people', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}
查詢user表中的所有信息
scan 'user'
查詢user表中列族為info的信息
scan 'people', {COLUMNS => 'info'}
scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 5}
scan 'persion', {COLUMNS => 'info', RAW => true, VERSIONS => 3}
查詢user表中列族為info和data的信息
scan 'user', {COLUMNS => ['info', 'data']}
scan 'user', {COLUMNS => ['info:name', 'data:pic']}
查詢user表中列族為info、列標示符為name的信息
scan 'user', {COLUMNS => 'info:name'}
查詢user表中列族為info、列標示符為name的信息,并且版本最新的5個
scan 'user', {COLUMNS => 'info:name', VERSIONS => 5}
查詢user表中列族為info和data且列標示符中含有a字符的信息
scan 'people', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}
查詢user表中列族為info,rk范圍是[rk0001, rk0003)的數據
scan 'people', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}
查詢user表中row key以rk字符開頭的
scan 'user',{FILTER=>"PrefixFilter('rk')"}
查詢user表中指定范圍的數據
scan 'user', {TIMERANGE => [1392368783980, 1392380169184]}
刪除數據
刪除user表row key為rk0001,列標示符為info:name的數據
delete 'people', 'rk0001', 'info:name'
刪除user表row key為rk0001,列標示符為info:name,timestamp為1392383705316的數據
delete 'user', 'rk0001', 'info:name', 1392383705316
清空user表中的數據
truncate 'people'
修改表結構
首先停用user表(新版本不用)
disable 'user'
添加兩個列族f1和f2
alter 'people', NAME => 'f1'
alter 'user', NAME => 'f2'
啟用表
enable 'user'
###disable 'user'(新版本不用)
刪除一個列族:
alter 'user', NAME => 'f1', METHOD => 'delete' 或 alter 'user', 'delete' => 'f1'
添加列族f1同時刪除列族f2
alter 'user', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}
將user表的f1列族版本號改為5
alter 'people', NAME => 'info', VERSIONS => 5
啟用表
enable 'user'
刪除表
disable 'user'
drop 'user'
2.解壓
3.配置hbase集群,要修改3個文件(首先zk集群已經安裝好了)
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
讓hbase節點知道hdfs的映射關系,也可以在hbase-site.xml中配置
3.1修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk
//告訴hbase使用外部的zk?
export HBASE_MANAGES_ZK=false
vi hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存儲的路徑 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hbase.rootdir</name>
? ? ? ? ? ? ? ? <value>hdfs://ns1/hbase</value>
? ? ? ? </property>
<!-- 指定hbase是分布式的 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hbase.cluster.distributed</name>
? ? ? ? ? ? ? ? <value>true</value>
? ? ? ? </property>
<!-- 指定zk的地址,多個用“,”分割 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hbase.zookeeper.quorum</name>
? ? ? ? ? ? ? ? <value>cloud4:2181,cloud5:2181,cloud6:2181</value>
? ? ? ? </property>
</configuration>
和hdfs的配置一樣,說明hbase的子節點都在哪些機器上
vi regionserverscloud3
cloud4
cloud5
cloud6
3.2拷貝hbase到其他節點
scp -r ~/hbase/ cloud2:~/
scp -r ~/hbase/ cloud3:~/
scp -r ~/hbase/ cloud4:~/
scp -r ~/hbase/ cloud5:~/
scp -r ~/hbase/ cloud6:~/
4.將配置好的HBase拷貝到每一個節點并同步時間。
5.啟動所有的hbase
分別啟動zk
./zkServer.sh start
啟動hadoop集群
start-dfs.sh
啟動hbase,在主節點(cloud1)上運行:
start-hbase.sh
6.通過瀏覽器訪問hbase管理頁面
192.168.1.201:60010
7.為保證集群的可靠性,要啟動多個HMaster(cloud1和cloud2上都是主節點)
hbase-daemon.sh start master
進入hbase命令行
./hbase shell
顯示hbase中的表
list
創建user表,包含info、data兩個列族
create 'user', 'info1', 'data1'
create 'user', {NAME => 'info', VERSIONS => '3'}
向user表中插入信息,row key為rk0001,列族info中添加name列標示符,值為zhangsan
put 'user', 'rk0001', 'info:name', 'zhangsan'
向user表中插入信息,row key為rk0001,列族info中添加gender列標示符,值為female
put 'user', 'rk0001', 'info:gender', 'female'
向user表中插入信息,row key為rk0001,列族info中添加age列標示符,值為20
put 'user', 'rk0001', 'info:age', 20
向user表中插入信息,row key為rk0001,列族data中添加pic列標示符,值為picture
put 'user', 'rk0001', 'data:pic', 'picture'
獲取user表中row key為rk0001的所有信息
get 'user', 'rk0001'
獲取user表中row key為rk0001,info列族的所有信息
get 'user', 'rk0001', 'info'
獲取user表中row key為rk0001,info列族的name、age列標示符的信息
get 'user', 'rk0001', 'info:name', 'info:age'
獲取user表中row key為rk0001,info、data列族的信息
get 'user', 'rk0001', 'info', 'data'
get 'user', 'rk0001', {COLUMN => ['info', 'data']}
get 'user', 'rk0001', {COLUMN => ['info:name', 'data:pic']}
獲取user表中row key為rk0001,列族為info,版本號最新5個的信息
get 'people', 'rk0002', {COLUMN => 'info', VERSIONS => 2}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5, TIMERANGE => [1392368783980, 1392380169184]}
獲取user表中row key為rk0001,cell的值為zhangsan的信息
get 'people', 'rk0001', {FILTER => "ValueFilter(=, 'binary:圖片')"}
獲取user表中row key為rk0001,列標示符中含有a的信息
get 'people', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}
查詢user表中的所有信息
scan 'user'
查詢user表中列族為info的信息
scan 'people', {COLUMNS => 'info'}
scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 5}
scan 'persion', {COLUMNS => 'info', RAW => true, VERSIONS => 3}
查詢user表中列族為info和data的信息
scan 'user', {COLUMNS => ['info', 'data']}
scan 'user', {COLUMNS => ['info:name', 'data:pic']}
查詢user表中列族為info、列標示符為name的信息
scan 'user', {COLUMNS => 'info:name'}
查詢user表中列族為info、列標示符為name的信息,并且版本最新的5個
scan 'user', {COLUMNS => 'info:name', VERSIONS => 5}
查詢user表中列族為info和data且列標示符中含有a字符的信息
scan 'people', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}
查詢user表中列族為info,rk范圍是[rk0001, rk0003)的數據
scan 'people', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}
查詢user表中row key以rk字符開頭的
scan 'user',{FILTER=>"PrefixFilter('rk')"}
查詢user表中指定范圍的數據
scan 'user', {TIMERANGE => [1392368783980, 1392380169184]}
刪除數據
刪除user表row key為rk0001,列標示符為info:name的數據
delete 'people', 'rk0001', 'info:name'
刪除user表row key為rk0001,列標示符為info:name,timestamp為1392383705316的數據
delete 'user', 'rk0001', 'info:name', 1392383705316
清空user表中的數據
truncate 'people'
修改表結構
首先停用user表(新版本不用)
disable 'user'
添加兩個列族f1和f2
alter 'people', NAME => 'f1'
alter 'user', NAME => 'f2'
啟用表
enable 'user'
###disable 'user'(新版本不用)
刪除一個列族:
alter 'user', NAME => 'f1', METHOD => 'delete' 或 alter 'user', 'delete' => 'f1'
添加列族f1同時刪除列族f2
alter 'user', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}
將user表的f1列族版本號改為5
alter 'people', NAME => 'info', VERSIONS => 5
啟用表
enable 'user'
刪除表
disable 'user'
drop 'user'
總結
以上是生活随笔為你收集整理的hbase集群安装和shell操作的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 41.选项卡插件——tabs
- 下一篇: jQuery获取iframe的docum