目录
hadoop 大数据平台-hive 组件部署介绍
metastore:保存关于表、列、分区、数据格式、存储位置等各种元数据信
Driver:负责与 Hive 服务器建立网络连接,使客户端能够与 Hive 进行通
信
解析器:将 SQL 语句进行词法分析和语法分析,将其转化为内部可识别的
语法树。
编译器:进一步处理,如类型检查、语义分析等,进行优化相关工作,如查
询重写等。
优化器:对理后的查询计划进行优化,包括选择最优的执行路径、确定表的
连接顺序等
执行器:负责执行查询计划,与存储进行交互,协调执行,获取数据并处理
结果。
hadoop 大数据平台-Hive 部署步骤
Mysql 数据库安装
安装 Mysql
metastore 数据初始化
Hive 软件安装
软件安装
连接配置
#1.mysql 数据库安装
yum install -y mysql-community-server
#2.metastore 元数据配置
schematool -initSchema -dbType mysql -verbose
#3.hive 安装
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/
hive-site.xml
#4.hive 调优
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
#5.hive 连接
vim $HADOOP_HOME/etc/hadoop/core-site.xml
nohup hiveserver2 &
beeline -u jdbc:hive2://localhost:10000 -n root -p 123456
教学视频
通过网盘分享的文件:hadoop配置
链接: https://pan.baidu.com/s/1jo1qFHkIfzadBWK0GW5S6Q 提取码: awsl
链接: https://pan.baidu.com/s/1jo1qFHkIfzadBWK0GW5S6Q 提取码: awsl
上机作业
1. dbeaver 连接测试截图
2. nohup hiveserver2 & 截图(写入 myhadoop.sh 中再开启)