HBase 详解

1.HBase 架构

HBase 详解-LMLPHP

============================================

2. HBase Shell 操作

2.1. 基本操作

进入HBase客户端命令行：bin/hbase shell
查看帮助命令：help
查看当前数据库中有哪些表：list

2.2. 表的操作

// 2.2.1. 创建表

create 'student','info'(列族)

// 2.2.2. 插入数据到表

put 'student','1001','info:sex','male'

put 'student','1001','info:age','18'

put 'student','1002','info:name','Janna'

put 'student','1002','info:sex','female'

put 'student','1002','info:age','20'

// 2.2.3. 扫描查看表数据

scan 'student'

scan 'student',{STARTROW => '1001', STOPROW => '1004'}

scan 'student',{STARTROW => '1001'}

// 2.2.4. 查看表结构

describe 'student'

// 2.2.5. 更新指定字段的数据

put 'student','1001','info:name','zhangsan'

put 'student','1001','info:age','22'

// 2.2.6. 查看“指定行”或“指定列族：列”的数据

get 'student','1001'

get 'student','1001','info:name'

// 2.2.7. 统计表数据行数

count 'student'

// 2.2.8. 删除数据:

// 删除某rowkey的全部数据

deleteall 'student','1001'

// 删除某rowkey的某一列数据

delete 'student','1002','info:sex'

// 2.2.9. 清空表数据

// 清空表的操作顺序为先disable， 然后再 truncate

truncate 'student'

// 2.2.10. 删除表

// 先让该表为 disable 状态

disable 'student'

// 然后才能 drop 这个表

drop 'student'

// 2.2.11 变更表信息

// 将info列族中的数据存放3个版本

alter 'student',{NAME=>'info',VERSIONS=>3}

get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}

3. HBase 数据结构

3.1 RowKey

RowKey 可以是任意字符串（最大长度是64KB，实际应用中长度一般为10-100bytes），在HBASE内部，RowKey 保存为字节数组。存储时，数据按照 RowKey 的字典序排序存储。设计 RowKey 时，要充分考虑排序存储这个特性，将经常一起读取的行存储在一起。（位置相关性）
RowKey 是用来检索记录的主键。访问HBase table中的行，有三种方式：
- 通过单个 RowKey 访问；
- 通过 RowKey 的 range（正则）
- 全表扫描

3.2 Column Family

列族：HBASE 表中的每个列，都归属于某个列族。列族是表的 schema 的一部分（而列不是）。必须在使用表之前定义。列名都以列族作为前缀。例如：courses:history, courses:math 都属于 courses 这个列族。

3.3 Cell

由（rowkey, column Family:column, version)唯一确定的单元。cell 中的数据是没有类型的，全部是字节码形式存储。

3.4 TimeStamp

版本通过时间戳来索引；

3.5 命名空间

Table: 表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在 default 默认的命名空间中；
RegionServer group：一个命名空间包含了默认的 RegionServer Group;
Permission: 权限。命名空间能够让我们来定义访问控制列表ACL（Access Control List)；
Quota：限额，可以强制一个命名空间可包含的 region 数量；
常用命令：
- 查看命名空间：list_namespace;
- 创建命名空间：create_namespace 'bigdata';
- 在指定命名空间下，创建表：create 'bigdata:student','info';
- 删除命名空间：drop_namespace 'bigdata';

4. HBase 原理

4.1 读流程

HBase 详解-LMLPHP

=========================

4.2 写流程

Client 向 HregionServer 发送写请求；
HregionServer 将数据写到 HLog(write ahead log)。为了数据的持久化和恢复；
HregionServer 将数据写到内存（MemStore）；
反馈 Client 写成功；

HBase 详解-LMLPHP

=========================

4.3 数据flush过程

当 MemStore 数据达到阈值（默认是 128M，老版本是 64M），将数据刷到磁盘，将内存中的数据删除，同时删除HLog中的历史数据；
将数据存储到HDFS中；
在HLog中做标记点；

4.4 数据合并过程

当数据块达到4块，Hmaster 触发合并操作， Region 将数据块加载到本地，进行合并；
当合并的数据超过 256M，进行拆分，将拆分后的 Region 分配给不同的 HregionServer 管理；
当 HregionServer 宕机后，将 HregionServer 上的 hlog拆分，然后分配给不同的 HregionServer 加载，修改 META;
注意：HLog 会同步到 HDFS;

5. HBase API 操作

5.1 环境准备

// pom.xml

  <dependencies>

      <dependency>

          <groupId>junit</groupId>

          <artifactId>junit</artifactId>

          <version>RELEASE</version>

      </dependency>

      <dependency>

          <groupId>org.apache.hbase</groupId>

          <artifactId>hbase-server</artifactId>

          <version>1.3.4</version>

      </dependency>

      <dependency>

          <groupId>org.apache.hbase</groupId>

          <artifactId>hbase-client</artifactId>

          <version>1.3.4</version>

      </dependency>

  <dependencies>

5.2 程序编写

public class TestHbase {

	private static Admin admin = null;

	private static Connection connection = null;

	private static Configuration configuration = null;

	static {

		// HBase 配置文件

		configuration = HBaseConfiguration.create();

		// zookeeper 配置

		configuration.set("hbase.zookeeper.quorum", "Zookeeper地址");

		configuration.set("hbase.zookeeper.property.clientPort", "2181");

		// 获取连接对象

		try {

			connection = ConnectionFactory.createConnection(configuration);

			admin = connection.getAdmin();

		} catch (IOException e) {

			// TODO Auto-generated catch block

			e.printStackTrace();

		}

	}

	private void close(Connection conn, Admin admin) {

		if (conn != null) {

			try {

				conn.close();

			} catch (IOException e) {

				// TODO Auto-generated catch block

				e.printStackTrace();

			}

		}

		if (admin != null) {

			try {

				admin.close();

			} catch (IOException e) {

				// TODO Auto-generated catch block

				e.printStackTrace();

			}

		}

	}

	// 判断表是否存在

	@Test

	public void tableExist() throws IOException {

		// 执行操作

		Boolean student = admin.tableExists(TableName.valueOf("student"));

		System.out.println("表Staff是否存在："+student);

		Boolean staff = admin.tableExists(TableName.valueOf("staff"));

		System.out.println("表Staff是否存在："+staff);

		this.close(connection, admin);

	}

	// 创建表

	@Test

	public void createTable() throws IOException {

		// 创建表描述器

		HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("country"));

		// 创建列描述器

		HColumnDescriptor hColumnDescriptor = new HColumnDescriptor("name");

		// 添加列族

		hTableDescriptor.addFamily(hColumnDescriptor);

		// 创建表操作

		admin.createTable(hTableDescriptor);

		System.out.println("表已经创建成功!");

		this.close(connection, admin);

	}

	// 删除表

	@Test

	public void deleteTable() throws IOException {

		// 使表不可用

		admin.disableTable(TableName.valueOf("country"));

		// 删除表

		admin.deleteTable(TableName.valueOf("country"));

		System.out.println("表已经删除成功!");

		this.close(connection, admin);

	}

	// 操作表中数据：

	// 增/改数据

	@Test

	public void putData() throws IOException {

		// 获取table对象

		Table table = connection.getTable(TableName.valueOf("student"));

		// 创建put对象

		Put put = new Put(Bytes.toBytes("1010"));

		// 添加数据

		put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("貂蝉"));

		// 执行添加操作

		table.put(put);

		System.out.println("数据添加成功!");

		this.close(connection, admin);

	}

	// 删除数据

	@Test

	public void deleteData() throws IOException {

		// 获取table对象

		Table table = connection.getTable(TableName.valueOf("student"));

		// 创建delete对象

		Delete delete = new Delete(Bytes.toBytes("1010"));

		// 第一种方式：不建议使用，只是删除最新版本

//		delete.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));

		// 第二种方式：删除所有版本

		delete.addColumns(Bytes.toBytes("info"), Bytes.toBytes("name"));

		// 删除数据

		table.delete(delete);

		System.out.println("数据删除成功!");

		table.close();

		this.close(connection, admin);

	}

	// 查询数据

	// 全表扫描

	@Test

	public void scanTable() throws IOException {

		Table table = connection.getTable(TableName.valueOf("student"));

		// 构建扫描器

		Scan scan = new Scan();

		ResultScanner results = table.getScanner(scan);

		for(Result result : results) {

			Cell[] cells = result.rawCells();

			for (Cell cell : cells) {

				System.out.println("RK:" + Bytes.toString(CellUtil.cloneRow(cell)) +

								   ",CF:" + Bytes.toString(CellUtil.cloneFamily(cell)) +

								   ",CN:" + Bytes.toString(CellUtil.cloneQualifier(cell)) +

								   ",VALUE:" + Bytes.toString(CellUtil.cloneValue(cell)));

			}

		}

		table.close();

		this.close(connection, admin);

	}

  // 获取指定列族：列的数据

	@Test

	public void scanColumnFamily() throws IOException {

		Table table = connection.getTable(TableName.valueOf("student"));

		// 创建get对象

		Get get = new Get(Bytes.toBytes("1001"));

		Result result = table.get(get);

		Cell[] cells = result.rawCells();

		for (Cell cell : cells) {

			System.out.println("RK:" + Bytes.toString(CellUtil.cloneRow(cell)) +

							   ",CF:" + Bytes.toString(CellUtil.cloneFamily(cell)) +

							   ",CN:" + Bytes.toString(CellUtil.cloneQualifier(cell)) +

							   ",VALUE:" + Bytes.toString(CellUtil.cloneValue(cell)));

		}

	}

}

**参考资料:**
- [ubuntu 16.04 开放指定端口](https://blog.csdn.net/fancancan/article/details/81286689)
- [HBase 单机启动问题](https://blog.csdn.net/Sunday2017/article/details/80569947)
- [hadoop +zookeeper + hbase 单节点安装](https://www.cnblogs.com/chaoren399/p/5018550.html)
- [Windows 环境下，出现“UnknownHostException”](https://blog.csdn.net/weixin_40861707/article/details/79979491)