3.1.1,为什么选用HBases

a)      容量巨大

HBase 的单表可以有百亿行、百万列,数据矩阵横向和纵向两个维度所支持的数据量级

都非常具有弹性。传统的关系型数据库,如 Oracle 和 MySQL 等,如果数据记录在亿级别,

查询和写入的性能都会呈指数级下降,所以更大的数据量级对传统数据库来讲是一种灾难。

而 HBase 对于存储百亿、千亿甚至更多的数据都不存在任何问题。对于高维数据,百万量级的列没有任何问题。

b)     面向列

HBase 是面向列的存储和权限控制,并支持列独立检索。有些读者可能不清楚什么是列

式存储,下面进行简单介绍。列式存储不同于传统的关系型数据库,其数据在表中是按某列

存储的,这样在查询只需要少数几个字段的时候,能大大减少读取的数据量,比如一个字段

的数据聚集存储,那就更容易为这种聚集存储设计更好的压缩和解压算法。下面是传统行式

数据库与列式数据库的不同特性。

传统行式数据库的特性如下:

‰ 数据是按行存储的。

‰ 没有索引的查询使用大量 I/O。

‰ 建立索引和物化视图需要花费大量的时间和资源。

‰ 面对查询需求,数据库必须被大量膨胀才能满足需求。

列式数据库的特性如下:

‰ 数据按列存储,即每一列单独存放。

‰ 数据即索引。

‰ 只访问查询涉及的列,可以大量降低系统 I/O。

‰ 每一列由一个线索来处理,即查询的并发处理性能高。

‰ 数据类型一致,数据特征相似,可以高效压缩。

列式存储不但解决了数据稀疏性问题,最大程度上节省存储开销,而且在查询发生时,仅

检索查询涉及的列,能够大量降低磁盘 I/O。这些特性也支撑 HBase 能够保证一定的读写性能。

c)      稀疏性

在大多数情况下,采用传统行式存储的数据往往是稀疏的,即存在大量为空(NULL)的

列,而这些列都是占用存储空间的,这就造成存储空间的浪费。对于 HBase 来讲,为空的列并不占用存储空间,因此,表可以设计得非常稀疏。

d)     扩展性

HBase 底层文件存储依赖 HDFS,从“基因”上决定了其具备可扩展性。这种遗传的可

扩展性就如同 OOP 中的继承,“父类”HDFS 的扩展性遗传到 HBase 框架中。这是最底层的关键点。同时,HBase 的 Region 和 RegionServer 的概念对应的数据可以分区,分区后数据可以位于不同的机器上,所以在 HBase 核心架构层面也具备可扩展性。HBase 的扩展性是热扩展,在不停止现有服务的前提下,可以随时添加或者减少节点。

e)     高可靠性

HBase 提供 WAL 和 Replication机制。前者保证了数据写入时不会因集群异常而导致

写入数据的丢失;后者保证了在集群出现严重问题时,数据不会发生丢失或者损坏。而且

HBase 底层使用 HDFS,HDFS 本身的副本机制很大程度上保证了 HBase 的高可靠性。同时,

协调服务的 ZooKeeper 组件是经过工业验证的,具备高可用性和高可靠性。

f)       高性能

底层的 LSM 数据结构和 Rowkey 有序排列等架构上的独特设计,使得 HBase 具备非常高的写入性能。Region 切分、主键索引和缓存机制使得 HBase 在海量数据下具备一定的随机读取性能,该性能针对 Rowkey 的查询能够达到毫秒级别。同时,HBase 对于高并发的场景也具备很好的适应能力。该特性也是业界众多公司选取 HBase 作为存储数据库非常重要的一点。

3.1.2,不足之处

1)     低延时访问

HDFS不太适合于那些要求低延时(数十毫秒)访问的应用程序,因为HDFS是设计用于大吞吐量数据的,这是以一定延时为代价的。HDFS是单Master的,所有的对文件的请求都要经过它,当请求多时,肯定会有延时。当前,对于那些有低延时要求的应用程序,HBase是一个更好的选择。现在HBase的版本是0.20,相对于以前的版本,在性能上有了很大的提升,它的口号就是goes real time。

使用缓存或多master设计可以降低client的数据请求压力,以减少延时。还有就是对HDFS系统内部的修改,这就得权衡大吞吐量与低延时了,HDFS不是万能的银弹。

2)     大量小文件

因为Namenode把文件系统的元数据放置在内存中,所以文件系统所能容纳的文件数目是由Namenode的内存大小来决定。一般来说,每一个文件、文件夹和Block需要占据150字节左右的空间,所以,如果你有100万个文件,每一个占据一个Block,你就至少需要300MB内存。当前来说,数百万的文件还是可行的,当扩展到数十亿时,对于当前的硬件水平来说就没法实现了。还有一个问题就是,因为Map task的数量是由splits来决定的,所以用MR处理大量的小文件时,就会产生过多的Maptask,线程管理开销将会增加作业时间。举个例子,处理10000M的文件,若每个split为1M,那就会有10000个Maptasks,会有很大的线程开销;若每个split为100M,则只有100个Maptasks,每个Maptask将会有更多的事情做,而线程的管理开销也将减小很多。

要想让HDFS能处理好小文件,有不少方法:

1、利用SequenceFile、MapFile、Har等方式归档小文件,这个方法的原理就是把小文件归档起来管理,HBase就是基于此的。对于这种方法,如果想找回原来的小文件内容,那就必须得知道与归档文件的映射关系。

2、横向扩展,一个Hadoop集群能管理的小文件有限,那就把几个Hadoop集群拖在一个虚拟服务器后面,形成一个大的Hadoop集群。google也是这么干过的。

3、多Master设计,这个作用显而易见了。正在研发中的GFS II也要改为分布式多Master设计,还支持Master的Failover,而且Block大小改为1M,有意要调优处理小文件啊。

附带个Alibaba DFS的设计,也是多Master设计,它把Metadata的映射存储和管理分开了,由多个Metadata存储节点和一个查询Master节点组成。

3)     多用户写,任意文件修改

目前Hadoop只支持单用户写,不支持并发多用户写。可以使用Append操作在文件的末尾添加数据,但不支持在文件的任意位置进行修改。这些特性可能会在将来的版本中加入,但是这些特性的加入将会降低Hadoop的效率,就拿GFS来说吧,这篇文章里就说了google自己的人都用着Multiple Writers很不爽。

利用Chubby、ZooKeeper之类的分布式协调服务来解决一致性问题。

05-12 15:10