【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建

目录

 一、部署规划

二、部署版本

三、MySQL安装

四、单机Hive安装

1、下载解压

2、配置环境变量

3、修改配置hive-env.sh.template

4、配置Metastore

5、修改配置文件hive-site.xml

6、mysql创建root用户密码

7、运行Hive--初始化数据库

五、测试

1、上传数据到hdfs

2、hive操作 建表

3、导入数据

5、hive命令行下查询操作

---

 一、部署规划

Hadoop3.*高可用集群部署参考：

【大数据入门核心技术-Hadoop】Hadoop3.2.1高可用集群搭建_forest_long的博客-CSDN博客

Hive3.*高可用集群部署参考：

【大数据入门核心技术-Hive】Hive3.1.2高可用集群搭建

二、部署版本

三、MySQL安装

安装参考：

【大数据入门核心技术-Hive】MySQL5.7安装

四、单机Hive安装

1、下载解压

下载地址:

https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

tar -zxf apache-hive-3.1.2-bin.tar.gz -C /usr/local/
cd /usr/local
mv apache-hive-3.1.2-bin hive-3.1.2

2、配置环境变量

 /etc/profie下加入

export HIVE_HOME=/usr/local/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

3、修改配置hive-env.sh.template

cd $HIVE_HOME/conf

cp hive-env.sh.template hive-env.sh 

vim hive-env.sh
# HADOOP_HOME=${bin}/../../hadoop
打开注释修改 HADOOP_HOME=/usr/local/hadoop-3.2.1

# export HIVE_CONF_DIR=
打开注释修改 HIVE_CONF_DIR=/usr/local/hive-3.1.2/conf  

4、配置Metastore

下载mysql驱动包，copy 到hive lib目录下

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.44/mysql-connector-java-5.1.44.jar 

cp mysql-connector-java-5.1.44.jar  /usr/local/hive-3.1.2/lib

5、修改配置文件hive-site.xml

cp hive-default.xml.template hive-site.xml
vim hive-site.xml 

<configuration>

<property>
  <!--端口改为你自己的端口，这里是连接数据库中onhive数据库，没有的话后面创建即可-->
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
<!--最新版本连接MySQL的jar包 所有写com.mysql.cj.jdbc.Driver,如果是旧版本用com.mysql.jdbc.Driver-->
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <!--连接MySQL的用户名-->
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <!--连接MySQL的密码-->
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
  <description>password to use against metastore database</description>
</property>

<property>
  <name>hive.server2.webui.host</name>
  <value>127.0.0.1</value>
</property>

<property>
  <name>hive.server2.webui.port</name>
  <value>10002</value>
</property>

</configuration>

6、mysql创建root用户密码

如已设置，则忽略

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;  
FLUSH PRIVILEGES; 

7、运行Hive--初始化数据库

cd $HIVE_HOME/bin/
schematool -dbType mysql -initSchema

五、测试

1、上传数据到hdfs

hadoop fs -put data.txt /

内容如下：

1,name1

2,name2

2、hive操作 建表

create table if not exists student(id int,name string) row format delimited fields terminated by ',';

3、导入数据

LOAD DATA  INPATH '/data.txt' OVERWRITE INTO TABLE student;

5、hive命令行下查询操作

select * from student;