Hive直接读取Hbase及MySQL数据

0.概述

Hive对外提供了StorageHandler接口，提供了访问各种存储组件中的数据的能力。Hbase提供了HbaseStorageHandler，使得hive可以通过建立外部映射表访问hbase中的数据。但是，公司CDH集群的版本比较低，不支持新版hive原生的JdbcStorageHandler。因而要访问JDBC数据源中的数据，只能通过添加第三方类库实现。

1.Hive 访问Hbase

use ods_sdb;
create external table if not exists ods_sdb.$v_table(
   ajbs string comment '标识',
   hytcyqdrq string comment '合议庭成员确定日期',
   splcbgkyy string comment '审判流程不公开原因',
   ajgyxx_stm string comment '实体码',
   bygksplc string comment '不宜公开审判流程',
   jbfy string comment '经办法院',
   labmbs string comment '立案部门标识',
   splcygk string comment '审判流程已公开',
   ajgyxx_ajbs string comment '案件标识',
   ajmc string comment '案件名称',
   stm string comment '实体码',
   cbbmbs string comment '承办部门标识'
) comment '概要信息'
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties (
    'hbase.columns.mapping' = ':key,f:anjiangaiyaoxinxi.heyitingchengyuanquedingriqi,f:anjiangaiyaoxinxi.shenpanliuchengbugongkaiyuanyin,f:anjiangaiyaoxinxi.shitima,f:anjiangaiyaoxinxi.buyigongkaishenpanliucheng,f:anjiangaiyaoxinxi.jingbanfayuan,f:anjiangaiyaoxinxi.lianbumenbiaozhi,f:anjiangaiyaoxinxi.shenpanliuchengyigongkai,f:anjiangaiyaoxinxi.anjianbiaozhi,f:anjiangaiyaoxinxi.anjianmingcheng,f:shitima,f:anjiangaiyaoxinxi.chengbanbumenbiaozhi'
) tblproperties ( 'hbase.table.name' = 'aj_15_baseinfo')

stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'：底层数据在hbase中存储的话，需要指定该类进行处理。
with serdeproperties 中指定hbase中的字段与hive外部表的对应映射关系，其中：:key为hbase的rowkey，其他字段按照外部表的定义顺序，依次以列族:字段名的顺序排列，用半角逗号分隔。

tblproperties 中指定对应的hbase表名。
需要注意的是：不要对该表进行复杂的条件查询，where中最好只使用rowkey对应的字段进行条件判断。

建议：只对该表进行数据的导出操作，即从hbase中把数据导出到hive实体表中。