Hadoop 单机安装教程
安装环境
- Fedora 29
- openjdk version "1.8.0_191"
安装步骤
- 创建
Hadoop
帐号 - 下载
Hadoop
安装包 - 解压
Hadoop
安装包 - 配置环境变量
- 配置
Hadoop
文件 - 启动集群
- 查看状态
创建 Hadoop 帐号
为 Hadoop 创建一个专门的账号
sudo adduser hadoop
sudo passwd hadoop
授予 Hadoop root 权限
使用root权限编辑/etc/sudoers:
sudo vim /etc/sudoers
末尾添加一行:
hadoop ALL=(ALL) ALL
切换到Hadoop账号:
su hadoop
配置 SSH 无密码登录
首先生成公私密钥对
ssh-keygen -t rsa
拷贝生成的公钥到授权 key 文件(authorized_keys)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
改变 key 权限为拥有者可读可写(0600)
chmod 0600 ~/.ssh/authorized_keys
chomod命令参考:
chmod 600 file – owner can read and write
chmod 700 file – owner can read, write and execute
chmod 666 file – all can read and write
chmod 777 file – all can read, write and execute
测试是否成功
ssh localhost
下载 Hadoop 安装包
cd ~
wget http://192.168.1.60/apache/hadoop/common/hadoop-3.0.1/hadoop-3.0.1.tar.gz
解压 Hadoop 安装包
tar -zxvf hadoop-3.0.1.tar.gz
mv hadoop-3.0.1 hadoop
配置环境变量
编辑 ~/.bashrc
文件
vim ~/.bashrc
添加以下环境变量
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
使配置文件生效
source ~/.bashrc
配置 Hadoop 文件
修改 hadoop/core-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/core-site.xml
修改以下内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改 hadoop/hdfs-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
修改以下内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>
修改 hadoop/mapred-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
修改以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改 hadoop/yarn-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
修改以下内容:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动集群
格式化 Hadoop 文件系统
hdfs namenode -format
启动 HDFS
$HADOOP_HOME/sbin/start-dfs.sh
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在末尾加上:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
启动 YARN
$HADOOP_HOME/sbin/start-yarn.sh
查看状态
查看 HDFS
状态,浏览器访问: http://localhost:9870