红糖番薯

红糖番薯

关注
发信
关注(28)粉丝(399)

Hadoop生态之Hive（二）

最近这一周博主也是连夜把hive肝完了，在双休日整理整理自己学的知识，并且在各大平台收集些面试题给大家，感谢这么久来大家的支持。
Hadoop生态之Hive（二）-LMLPHP
Hadoop生态之Hive（二）-LMLPHP

Hive

4.DDL数据类型

4.1 创建数据库

CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];

1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db

hive (default)> create database db_hive;

2）避免要创建的数据库已经存在错误，增加 if not exists 判断

hive (default)> create database db_hive;
hive (default)> create database if not exists db_hive;

3）创建一个数据库，指定数据库在 HDFS 上存放的位置

hive (default)> create database db_hive2 location '/db_hive2.db';

因为Hive提供类SQL查询功能，操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。并且Hive的本质是将 HQL 转化成 MapReduce 程序，由MapReduce来进行计算，并且由HDFS进行存储。

4.2 查询数据库功能

4.2.1 显示数据库

1）显示数据库

hive> show databases;

2）过滤显示查询的数据库

hive> show databases like 'db_hive*';

4.2.2 查看数据库详情

1）显示数据库信息

hive> desc database db_hive;

2）显示数据库详细信息，extended

hive> desc database extended db_hive;

4.2.3 切换当前数据库

hive (default)> use db_hive;

4.3 修改数据库

用户可以使用 ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键-值对属性值，来描述这个数据库的属性信息。

hive (default)> alter database db_hive set dbproperties('createtime'='20170830');

在 hive 中查看修改结果

hive> desc database extended db_hive;

4.4 删除数据库

1）删除空数据库

hive>drop database db_hive2;

2）如果删除的数据库不存在，最好采用 if exists 判断数据库是否存在

hive> drop database db_hive;

hive> drop database if exists db_hive2;

3）如果数据库不为空，可以采用 cascade 命令，强制删除

hive> drop database db_hive;

hive> drop database db_hive cascade;

4.5 创建表

1）建表语法
因为Hive采用的是类sql，所以建表语句这些跟SQL差别不会太多。SQL大佬学习起来像喝下白开水那么简单
Hadoop生态之Hive（二）-LMLPHP

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]

2）字段解释说明
（1）CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
（2）EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（LOCATION），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。 （3）COMMENT：为表和列添加注释。
（4）PARTITIONED BY 创建分区表
（5）CLUSTERED BY 创建分桶表
（6）SORTED BY 不常用，对桶中的一个或多个列另外排序
（7）ROW FORMAT

DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
 [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
 | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value,
property_name=property_value, ...)]

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive 通过 SerDe 确定表的具体的列的数据。

SerDe 是 Serialize/Deserilize 的简称， hive 使用 Serde 进行行对象的序列与反序列化。

（8）STORED AS 指定存储文件类型常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列式存储格式文件）

如果文件数据是纯文本，可以使用STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。
（9）LOCATION ：指定表在 HDFS 上的存储位置。
（10）AS：后跟查询语句，根据查询结果创建表。
（11）LIKE 允许用户复制现有的表结构，但是不复制数据。

4.5.1 管理表

1）理论
默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive 会（或多或少地）控制着数据的生命周期。Hive 默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。
当我们删除一个管理表时，Hive 也会删除这个表中数据。管理表不适合和其他工具共享数据。

4.5.2 外部表

1）理论
因为表是外部表，所以 Hive 并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。
2）管理表和外部表的使用场景
每天将收集到的网站日志定期流入 HDFS 文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过 SELECT+INSERT 进入

4.5.3 管理表与外部表的互相转换

（1）查询表的类型

hive (default)> desc formatted student2;
Table Type: MANAGED_TABLE

（2）修改内部表 student2 为外部表

alter table student2 set tblproperties('EXTERNAL'='TRUE');

（3）查询表的类型

hive (default)> desc formatted student2;
Table Type: EXTERNAL_TABLE

（4）修改外部表 student2 为内部表

alter table student2 set tblproperties('EXTERNAL'='FALSE');

（5）查询表的类型

hive (default)> desc formatted student2;
Table Type: MANAGED_TABLE

注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！

4.6 修改表

4.6.1 重命名表

1）语法

ALTER TABLE table_name RENAME TO new_table_name

2）实操案例

hive (default)> alter table dept_partition2 rename to dept_partition3;

4.6.2 增加、修改和删除表分区

详见 7.1 章分区表基本操作。

4.6.3 增加/修改/替换列信息

1）语法
（1）更新列

ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name
column_type [COMMENT col_comment] [FIRST|AFTER column_name]

（2）增加和替换列

ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

注：ADD 是代表新增一字段，字段位置在所有列后面(partition 列前)，REPLACE 则是表示替换表中所有字段。
2）示例
（1）查询表结构

hive> desc dept;

（2）添加列

hive (default)> alter table dept add columns(deptdesc string);

（3）查询表结构

hive> desc dept;

（4）更新列

hive (default)> alter table dept change column deptdesc desc string;

（5）查询表结构

hive> desc dept;

（6）替换列

hive (default)> alter table dept replace columns(deptno string, dnamestring, loc string);

（7）查询表结构

hive> desc dept;

4.7 删除表

hive (default)> drop table dept;

5. DML 数据操作

5.1 数据导入

5.1.1 向表中装载数据（Load）

1）语法

hive> load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)];

（1）load data:表示加载数据
（2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表 （3）inpath:表示加载数据的路径
（4）overwrite:表示覆盖表中已有数据，否则表示追加
（5）into table:表示加载到哪张表
（6）student:表示具体的表
（7）partition:表示上传到指定分区
2）代码示例
（1）创建一张表

hive (default)> create table student(id string, name string) row format
delimited fields terminated by '\t';

（2）加载本地文件到 hive

hive (default)> load data local inpath '/opt/module/hive/datas/student.txt' into table default.student;

（3）加载 HDFS 文件到 hive 中
上传文件到 HDFS

hive (default)> dfs -put /opt/module/hive/data/student.txt /user/atguigu/hive;

加载 HDFS 上数据

hive (default)> load data inpath '/user/atguigu/hive/student.txt' into table default.student;

（4）加载数据覆盖表中已有的数据
上传文件到 HDFS

hive (default)> dfs -put /opt/module/data/student.txt /user/atguigu/hive;

加载数据覆盖表中已有的数据

hive (default)> load data inpath '/user/atguigu/hive/student.txt' overwrite into table default.student;

5.1.2 通过查询语句向表中插入数据（Insert）

1）创建一张表

hive (default)> create table student_par(id int, name string) row format delimited fields terminated by '\t';

2）基本插入数据

hive (default)> insert into table student_par values(1,'wangwu'),(2,'zhaoliu');

3）基本模式插入（根据单张表查询结果）

hive (default)> insert overwrite table student_par select id, name from student where month='201709';

insert into：以追加数据的方式插入到表或分区，原有数据不会删除
insert overwrite：会覆盖表中已存在的数据
注意：insert 不支持插入部分字段

4）多表（多分区）插入模式（根据多张表查询结果）

hive (default)> from student insert overwrite table student partition(month='201707')
 select id, name where month='201709'
 insert overwrite table student partition(month='201706')
 select id, name where month='201709';

5.1.3 查询语句中创建表并加载数据（As Select）

详见 目录 4.5.1 创建表。
根据查询结果创建表（查询的结果会添加到新创建的表中）

create table if not exists student3
as select id, name from student;

5.1.4 创建表时通过 Location 指定加载数据路径

1）上传数据到 hdfs 上

hive (default)> dfs -mkdir /student;
hive (default)> dfs -put /opt/module/datas/student.txt /student;

2）创建表，并指定在 hdfs 上的位置

hive (default)> create external table if not exists student5(
 id int, name string
 )
 row format delimited fields terminated by '\t'
 location '/student;

3）查询数据

hive (default)> select * from student5;

5.1.5 Import 数据到指定 Hive 表中

注意：先用 export 导出后，再将数据导入。

hive (default)> import table student2
from '/user/hive/warehouse/export/student';

5.2 数据导出

5.2.1 Insert 导出

1）将查询的结果导出到本地

hive (default)> insert overwrite local directory
select * from student;

2）将查询的结果格式化导出到本地
hive(default)>

insert overwrite local directory
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select * from student;

3）将查询的结果导出到 HDFS 上(没有 local)

hive (default)> insert overwrite directory '/user/atguigu/student2'
 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
 select * from student;

5.2.2 Hadoop 命令导出到本地

hive (default)> dfs -get /user/hive/warehouse/student/student.txt

5.2.3 Hive Shell 命令导出

基本语法：（hive -f/-e 执行语句或者脚本 > file）

bin/hive -e 'select * from default.student;'

5.2.4 Export 导出到 HDFS 上

hive(default)> export table default.student

export 和 import 主要用于两个 Hadoop 平台集群之间 Hive 表迁移。

5.2.5 通过Sqoop 导出

大家可以等待番薯学完之后给诸佬更新更详细的内容，诸佬们也可以网上查阅资料到时候多指教指教番薯。

5.2.6 清除表中数据（Truncate）

注意：Truncate 只能删除管理表，不能删除外部表中数据

hive (default)> truncate table student;

6. 查询

查询语句语法：
SELECT [ALL | DISTINCT] select_expr, select_expr, …
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list]
[ORDER BY col_list]
[CLUSTER BY col_list
| [DISTRIBUTE BY col_list] [SORT BY col_list]
]
[LIMIT number]

6.1 基本查询（Select…From）

6.1.1 全表和特定列查询

1）全表查询

hive (default)> select * from emp;
hive (default)> select empno,ename,job,mgr,hiredate,sal,comm,deptno from emp ;

2）选择特定列查询

hive (default)> select empno, ename from emp;

注意：
（1）SQL 语言大小写不敏感。
（2）SQL 可以写在一行或者多行
（3）关键字不能被缩写也不能分行
（4）各子句一般要分行写。
（5）使用缩进提高语句的可读性。

6.1.2 列别名

1）重命名一个列
2）便于计算
3）紧跟列名，也可以在列名和别名之间加入关键字‘AS’

6.1.3 算术运算符

6.1.4 常用函数

1）求总行数（count）

hive (default)> select count(*) cnt from emp;

2）求最大值（max）

hive (default)> select max(sal) max_sal from emp;

3）求最小值（min）

hive (default)> select min(sal) min_sal from emp;

4）求总和（sum）

hive (default)> select sum(sal) sum_sal from emp;

5）求平均值（avg）

hive (default)> select avg(sal) avg_sal from emp;

6.1.5 Limit 语句

典型的查询会返回多行数据。LIMIT 子句用于限制返回的行数。

hive (default)> select * from emp limit 5;
hive (default)> select * from emp limit 2;

6.1.6 Where 语句

1）使用 WHERE 子句，将不满足条件的行过滤掉
2）WHERE 子句紧随 FROM 子句
3）案例实操
查询出薪水大于 1000 的所有员工

hive (default)> select * from emp where sal >1000;

注意：where 子句中不能使用字段别名。

6.1.7 比较运算符（Between/In/ Is Null）

1）下面表中描述了谓词操作符，这些操作符同样可以用于 JOIN…ON 和 HAVING 语句中。

6.1.8 Like 和 RLike

1）使用 LIKE 运算选择类似的值
2）选择条件可以包含字符或数字:
% 代表零个或多个字符(任意个字符)。
_ 代表一个字符。
3）RLIKE 子句
RLIKE 子句是 Hive 中这个功能的一个扩展，其可以通过 Java 的正则表达式这个更强大
的语言来指定匹配条件。

6.1.9 逻辑运算符（And/Or/Not）

6.2 分组

6.2.1 Group By 语句

GROUP BY 语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。
（1）计算 emp 表每个部门的平均工资

hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by
t.deptno;

（2）计算 emp 每个部门中每个岗位的最高薪水

hive (default)> select t.deptno, t.job, max(t.sal) max_sal from emp t
group by
t.deptno, t.job;

6.2.2 Having 语句

1）having 与 where 不同点
（1）where 后面不能写分组函数，而 having 后面可以使用分组函数。
（2）having 只用于 group by 分组统计语句。
2）案例实操
（1）求每个部门的平均薪水大于 2000 的部门
求每个部门的平均工资

hive (default)> select deptno, avg(sal) from emp group by deptno;

求每个部门的平均薪水大于 2000 的部门

hive (default)> select deptno, avg(sal) avg_sal from emp group by deptno
having avg_sal > 2000;

6.3 Join 语句

6.3.1 等值 Join

Hive 支持通常的 SQL JOIN 语句。

hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e
join dept d on e.deptno = d.deptno;

6.3.2 表的别名

1）好处
（1）使用别名可以简化查询。
（2）使用表名前缀可以提高执行效率。

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d
on e.deptno = d.deptno;

6.3.3 内连接

内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d
on e.deptno = d.deptno;

6.3.4 左外连接

左外连接：JOIN 操作符左边表中符合 WHERE 子句的所有记录将会被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e left join
dept d on e.deptno = d.deptno;

6.3.5 右外连接

右外连接：JOIN 操作符右边表中符合 WHERE 子句的所有记录将会被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e right join
dept d on e.deptno = d.deptno;

6.3.6 满外连接

满外连接：将会返回所有表中符合 WHERE 语句条件的所有记录。如果任一表的指定字
段没有符合条件的值的话，那么就使用 NULL 值替代。

hive (default)> select e.empno, e.ename, d.deptno from emp e full join
dept d on e.deptno = d.deptno;

6.3.7 多表连接

注意：连接 n 个表，至少需要 n-1 个连接条件。例如：连接三个表，至少需要两个连接
条件。
多表连接查询

hive (default)>SELECT e.ename, d.dname, l.loc_name
FROM emp e
JOIN dept d
ON d.deptno = e.deptno
JOIN location l
ON d.loc = l.loc;

大多数情况下，Hive 会对每对 JOIN 连接对象启动一个 MapReduce 任务。本例中会首先启动一个 MapReduce job 对表 e 和表 d 进行连接操作，然后会再启动一个 MapReduce job 将第一个 MapReduce job 的输出和表 l;进行连接操作。
注意：为什么不是表 d 和表 l 先进行连接操作呢？这是因为 Hive 总是按照从左到右的顺序执行的。
优化：当对 3 个或者更多表进行 join 连接时，如果每个 on 子句都使用相同的连接键的话，那么只会产生一个 MapReduce job。

6.3.8 笛卡尔积

1）笛卡尔集会在下面条件下产生
（1）省略连接条件
（2）连接条件无效
（3）所有表中的所有行互相连接
2）示例

hive (default)> select empno, dname from emp, dept;

6.4 排序

6.4.1 全局排序（Order By）

Order By：全局排序，只有一个 Reducer 1）使用 ORDER BY 子句排序
ASC（ascend）: 升序（默认）
DESC（descend）: 降序
2）ORDER BY 子句在 SELECT 语句的结尾
3）排序示例
（1）查询员工信息按工资升序排列

hive (default)> select * from emp order by sal;

（2）查询员工信息按工资降序排列

hive (default)> select * from emp order by sal desc;

6.4.2 按照别名排序
按照员工薪水的 2 倍排序

hive (default)> select ename, sal*2 twosal from emp order by twosal;

6.4.3 多个列排序
按照部门和工资升序排序

hive (default)> select ename, deptno, sal from emp order by deptno, sal;

6.4.4 每个 Reduce 内部排序（Sort By）

Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排
序，此时可以使用 sort by。
Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集
来说不是排序。
1）设置 reduce 个数

hive (default)> set mapreduce.job.reduces=3;

2）查看设置 reduce 个数

hive (default)> set mapreduce.job.reduces;

3）根据部门编号降序查看员工信息

hive (default)> select * from emp sort by deptno desc;

4）将查询结果导入到文件中（按照部门编号降序排序）

hive (default)> insert overwrite local directory '/opt/module/data/sortby-result' select * from emp sort by deptno desc;

6.4.5 分区（Distribute By）

Distribute By： 在有些情况下，我们需要控制某个特定行应该到哪个 reducer，通常是为
了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition
（自定义分区），进行分区，结合 sort by 使用。
对于 distribute by 进行测试，一定要分配多 reduce 进行处理，否则无法看到 distribute
by 的效果。

注意：
➢ distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后，
余数相同的分到一个区。 ➢ Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。

6.4.6 Cluster By

当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。
cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序
排序，不能指定排序规则为 ASC 或者 DESC。
（1）以下两种写法等价

hive (default)> select * from emp cluster by deptno;
hive (default)> select * from emp distribute by deptno sort by deptno;

注意：按照部门编号分区，不一定就是固定死的数值，可以是 20 号和 30 号部门分到一个分区里面去。

Late

内容太多再分一部分。。。。。
Hive是我们做数仓开发必不可少的一部分，诸佬们一定要好好学撒
Hadoop生态之Hive（二）-LMLPHP

07-11 09:34
Powered by LMLPHP ©2024 红糖番薯 0.037875