HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。是建立的hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的數據庫系統。

　　與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務器，來增加計算和存儲能力。

HBase中的表一般有這樣的特點：

1 大：一個表可以有上億行，上百萬列

2 面向列:面向列(族)的存儲和權限控制，列(族)獨立檢索。

3 稀疏:對于為空(null)的列，并不占用存儲空間，因此，表可以設計的非常稀疏。

　　　　　　　　　　　　　　　　

上圖描述Hadoop EcoSystem中的各層系統。其中,HBase位于結構化存儲層，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩定服務和failover機制。 　　此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則為HBase提供了方便的RDBMS數據導入功能，使得傳統數據庫數據向HBase中遷移變的非常方便。 1、[HBase]數據模型（邏輯結構） 　　HBase以表的形式存儲數據。表由行和列族組成。列劃分為若干個列族(row family)，其邏輯視圖如下： 下面分別說說幾個關鍵概念： 1）行鍵(RowKey) -- 行鍵是字節數組, 任何字符串都可以作為行鍵； -- 表中的行根據行鍵進行排序，數據按照Row key的字節序(byte order)排序存儲； -- 所有對表的訪問都要通過行鍵 （單個RowKey訪問，或RowKey范圍訪問，或全表掃描) 2）列族（ColumnFamily） -- CF必須在表定義時給出 -- 每個CF可以有一個或多個列成員(ColumnQualifier)，列成員不需要在表定義時給出，新的列族成員可以隨后按需、動態加入 -- 數據按CF分開存儲，HBase所謂的列式存儲就是根據CF分開存儲（每個CF對應一個Store），這種設計非常適合于數據分析的情形 3）時間戳（TimeStamp） -- 每個Cell可能又多個版本，它們之間用時間戳區分 4）單元格（Cell） -- Cell 由行鍵，列族:限定符，時間戳唯一決定 -- Cell中的數據是沒有類型的，全部以字節碼形式存貯 5）區域(Region） -- HBase自動把表水平（按Row）劃分成多個區域(region)，每個region會保存一個表里面某段連續的數據； -- 每個表一開始只有一個region，隨著數據不斷插入表，region不斷增大，當增大到一個閥值的時候，region就會等分會兩個新的region； -- 當table中的行不斷增多，就會有越來越多的region。這樣一張完整的表被保存在多個Region 上。 -- HRegion是HBase中分布式存儲和負載均衡的最小單元。最小單元表示不同的HRegion可以分布在不同的HRegionServer上。但一個HRegion不會拆分到多個server上。

2.Hbase表操作

　　1、 對表的創建、刪除、顯示以及修改等，可以用HBaseAdmin，一旦創建了表，那么可以通過HTable的實例來訪問表，每次可以往表里增加數據。

　　2、 插入數據

　　　　創建一個Put對象，在這個Put對象里可以指定要給哪個列增加數據，以及當前的時間戳等值，然后通過調用HTable.put(Put)來提交操作，子猴在這里提請注意的是：在創建Put對象的時候，你必須指定一個行(Row)值，在構造Put對象的時候作為參數傳入。

　　3、 獲取數據

　　　　要獲取數據，使用Get對象，Get對象同Put對象一樣有好幾個構造函數，通常在構造的時候傳入行值，表示取第幾行的數據，通過HTable.get(Get)來調用。

　　4、 瀏覽每一行

　　　　通過Scan可以對表中的行進行瀏覽，得到每一行的信息，比如列名，時間戳等，Scan相當于一個游標，通過next()來瀏覽下一個，通過調用HTable.getScanner(Scan)來返回一個ResultScanner對象。HTable.get(Get)和HTable.getScanner(Scan)都是返回一個Result。Result是一個

KeyValue的鏈表。

　　5、 刪除

　　　　使用Delete來刪除記錄，通過調用HTable.delete(Delete)來執行刪除操作。（注：刪除這里有些特別，也就是刪除并不是馬上將數據從表中刪除。）

　　6、 鎖

　　　　新增、獲取、刪除在操作過程中會對所操作的行加一個鎖，而瀏覽卻不會。

?

1 import java.io.IOException; 2 import java.util.ArrayList; 3 import java.util.List; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.hbase.HBaseConfiguration; 7 import org.apache.hadoop.hbase.HColumnDescriptor; 8 import org.apache.hadoop.hbase.HTableDescriptor; 9 import org.apache.hadoop.hbase.KeyValue; 10 import org.apache.hadoop.hbase.MasterNotRunningException; 11 import org.apache.hadoop.hbase.ZooKeeperConnectionException; 12 import org.apache.hadoop.hbase.client.Delete; 13 import org.apache.hadoop.hbase.client.Get; 14 import org.apache.hadoop.hbase.client.HBaseAdmin; 15 import org.apache.hadoop.hbase.client.HTable; 16 import org.apache.hadoop.hbase.client.Result; 17 import org.apache.hadoop.hbase.client.ResultScanner; 18 import org.apache.hadoop.hbase.client.Scan; 19 import org.apache.hadoop.hbase.client.Put; 20 import org.apache.hadoop.hbase.util.Bytes; 21 22 public class HBaseTest { 23 24 private static Configuration conf =null; 25 /** 26 * 初始化配置 27 */ 28 static { 29 conf = HBaseConfiguration.create(); 30 } 31 32 /** 33 * 創建一張表 34 */ 35 public static void creatTable(String tableName, String[] familys) throws Exception { 36 HBaseAdmin admin = new HBaseAdmin(conf); 37 if (admin.tableExists(tableName)) { 38 System.out.println("table already exists!"); 39 } else { 40 HTableDescriptor tableDesc = new HTableDescriptor(tableName); 41 for(int i=0; i<familys.length; i++){ 42 tableDesc.addFamily(new HColumnDescriptor(familys[i])); 43 } 44 admin.createTable(tableDesc); 45 System.out.println("create table " + tableName + " ok."); 46 } 47 } 48 49 /** 50 * 刪除表 51 */ 52 public static void deleteTable(String tableName) throws Exception { 53 try { 54 HBaseAdmin admin = new HBaseAdmin(conf); 55 admin.disableTable(tableName); 56 admin.deleteTable(tableName); 57 System.out.println("delete table " + tableName + " ok."); 58 } catch (MasterNotRunningException e) { 59 e.printStackTrace(); 60 } catch (ZooKeeperConnectionException e) { 61 e.printStackTrace(); 62 } 63 } 64 65 /** 66 * 插入一行記錄 67 */ 68 public static void addRecord (String tableName, String rowKey, String family, String qualifier, String value) 69 throws Exception{ 70 try { 71 HTable table = new HTable(conf, tableName); 72 Put put = new Put(Bytes.toBytes(rowKey)); 73 put.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value)); 74 table.put(put); 75 System.out.println("insert recored " + rowKey + " to table " + tableName +" ok."); 76 } catch (IOException e) { 77 e.printStackTrace(); 78 } 79 } 80 81 /** 82 * 刪除一行記錄 83 */ 84 public static void delRecord (String tableName, String rowKey) throws IOException{ 85 HTable table = new HTable(conf, tableName); 86 List list = new ArrayList(); 87 Delete del = new Delete(rowKey.getBytes()); 88 list.add(del); 89 table.delete(list); 90 System.out.println("del recored " + rowKey + " ok."); 91 } 92 93 /** 94 * 查找一行記錄 95 */ 96 public static void getOneRecord (String tableName, String rowKey) throws IOException{ 97 HTable table = new HTable(conf, tableName); 98 Get get = new Get(rowKey.getBytes()); 99 Result rs = table.get(get); 100 for(KeyValue kv : rs.raw()){ 101 System.out.print(new String(kv.getRow()) + " " ); 102 System.out.print(new String(kv.getFamily()) + ":" ); 103 System.out.print(new String(kv.getQualifier()) + " " ); 104 System.out.print(kv.getTimestamp() + " " ); 105 System.out.println(new String(kv.getValue())); 106 } 107 } 108 109 /** 110 * 顯示所有數據 111 */ 112 public static void getAllRecord (String tableName) { 113 try{ 114 HTable table = new HTable(conf, tableName); 115 Scan s = new Scan(); 116 ResultScanner ss = table.getScanner(s); 117 for(Result r:ss){ 118 for(KeyValue kv : r.raw()){ 119 System.out.print(new String(kv.getRow()) + " "); 120 System.out.print(new String(kv.getFamily()) + ":"); 121 System.out.print(new String(kv.getQualifier()) + " "); 122 System.out.print(kv.getTimestamp() + " "); 123 System.out.println(new String(kv.getValue())); 124 } 125 } 126 } catch (IOException e){ 127 e.printStackTrace(); 128 } 129 } 130 131 public static void main (String [] agrs) { 132 try { 133 String tablename = "scores"; 134 String[] familys = {"grade", "course"}; 135 HBaseTest.creatTable(tablename, familys); 136 137 //add record zkb 138 HBaseTest.addRecord(tablename,"zkb","grade","","5"); 139 HBaseTest.addRecord(tablename,"zkb","course","","90"); 140 HBaseTest.addRecord(tablename,"zkb","course","math","97"); 141 HBaseTest.addRecord(tablename,"zkb","course","art","87"); 142 //add record baoniu 143 HBaseTest.addRecord(tablename,"baoniu","grade","","4"); 144 HBaseTest.addRecord(tablename,"baoniu","course","math","89"); 145 146 System.out.println("===========get one record========"); 147 HBaseTest.getOneRecord(tablename, "zkb"); 148 149 System.out.println("===========show all record========"); 150 HBaseTest.getAllRecord(tablename); 151 152 System.out.println("===========del one record========"); 153 HBaseTest.delRecord(tablename, "baoniu"); 154 HBaseTest.getAllRecord(tablename); 155 156 System.out.println("===========show all record========"); 157 HBaseTest.getAllRecord(tablename); 158 } catch (Exception e) { 159 e.printStackTrace(); 160 } 161 } 162 }

?

?

轉載于:https://www.cnblogs.com/shufy/p/5360977.html

總結

以上是生活随笔為你收集整理的Hbase初识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。