hadoop集群搭建

环境：CentOS release 6.5

192.168.116.140  master
192.168.116.136  slave1
192.168.116.137  slave2

每台配置hosts vi /etc/hsots

192.168.116.140  master
192.168.116.136  slave1
192.168.116.137  slave2

一、安装jdk：

1、master操作：

下载jdk-8u31-linux-i586.tar.gz   https://pan.baidu.com/s/1hsBSq5Q

mv jdk-8u31-linux-i586.tar.gz /usr/local/src

tar zxvf jdk-8u31-linux-i586.tar.gz

设置java环境变量

vi ~/.bashrc

添加 

export JAVA_HOME=/usr/local/src/jdk1.8.0_31
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

刷新 source ~/.bashrc

测试jdk

将java传到slave1，slave2两台服务器

scp  dk-8u31-linux-i586.tar.gz  slave1:/usr/local/src/

scp  dk-8u31-linux-i586.tar.gz  slave2:/usr/local/src/

2、slave操作：

slave1 和slave2进行java解压 及设置环境变量操作，参考master操作

二、安装hadoop

1、master 操作

下载 hadoop  https://pan.baidu.com/s/1bpxju6z

解压 tar zxvf  hadoop-1.2.1-bin.tar.gz

配置hadoop

cd /usr/local/src/hadoop-1.2.1/conf

1）vi master 

2）vi  slaves  

3）[root@master conf]# vi core-site.xml      Hadoop核心的配置文件，这里配置的是HDFS的地址和端口号及hadoop临时文件夹，如图

       

点击(此处)折叠或打开

1. <configuration>
   
2.         <property>
   
3.                  <name>hadoop.tmp.dir</name>
   
4.                  <value>/usr/local/src/hadoop-1.2.1/tmp</value>
   
5.         </property>
   
6. 
   
7.         <property>
   
8.                  <name>fs.default.name</name>
   
9.                  <value>hdfs://192.168.116.140:9000</value>
   
10.         </property>
    
11. </configuration>

       

4）[root@master conf]# vi hdfs-site.xml    这是Hadoop中HDFS的配置，配置的备份方式默认为3

       

点击(此处)折叠或打开

1. <configuration>
   
2.         <property>
   
3.                  <name>dfs.replication</name>
   
4.                  <value>3</value>
   
5.         </property>
   
6. </configuration>

       

5）[root@master conf]# vi mapred-site.xml    MapReduce的配置文件，配置的是JobTracker的地址和端口

      

点击(此处)折叠或打开

1. <configuration>
   
2.         <property>
   
3.              <name>mapred.job.tracker</name>
   
4.              <value>http://192.168.116.140:9001</value>
   
5.         </property>
   
6. </configuration>

6） vi hadoop-env.sh  环境脚本

最后一行加入

export JAVA_HOME=/usr/local/src/jdk1.8.0_31

配置完成后，讲hadoop传到slave1和slave2两台服务器

scp -rp hadoop-1.2.1 slav1:/usr/local/src/

scp -rp hadoop-1.2.1 slav2:/usr/local/src/

2、slave操作

到slave1及slave2上面检测从master scp拷贝过来的hadoop是否配置正常

三、配合ssh互信（免秘钥登录）

三台服务器分别

执行ssh-keygen  ，按默认选项

master服务器： 

cd /root/.ssh/

cat id_rsa.pub >authorized_keys

分别到slave1，及slave2服务器

cat id_rsa.pub

复制内容到 master服务器 authorized_keys文件如图：

然后同步到slave1及slave2服务器

 scp -rp authorized_keys  slave1:~/.ssh/

 scp -rp authorized_keys  slave2:~/.ssh/

到此完毕并验证 ssh免秘钥登录 

四、测试hadoop

在master上面执行/usr/local/src/hadoop-1.2.1/bin/start-all.sh 启动hadoop集群

jps

在slave上面查看状态

./hadoop fs -ls /  查看hadoop根目录下文件

将本地passwd传入到hadoop根目录下文件

并到slave服务器上面进行查看

到此hadoop集群安装完成！