Cloudera Hadoop集群安装部署，cdh3u6，Ubuntu12.04

OS: Ubuntu12.04 Server

 

Hadoop：CDH3U6

 

机器列表：namenode 192.168.71.46；datanode 192.168.71.202，192.168.71.203，192.168.71.204

 

安装Hadoop

 

添加软件源

 

/etc/apt/sources.list.d/cloudera-3u6.list

插入

 

deb  http://192.168.52.100/hadoop maverick-cdh3 contrib

deb-src  http://192.168.52.100/hadoop maverick-cdh3 contrib

增加GPG Key，执行

 

curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -

更新

apt-get update

 

在namenode上安装hadoop-0.20-namenode和jobtracker

 

apt-get install -y --force-yes hadoop-0.20-namenode hadoop-0.20-jobtracker

在datanode上安装hadoop-0.20-datanode和tasktracker

 

apt-get install -y --force-yes hadoop-0.20-datanode hadoop-0.20-tasktracker

配置无SSH登录

 

在namendoe机器上执行

 

ssh-keygen -t rsa

 

一路回车，将在~/.ssh文件夹下生成的id_rsa.pub的内容复制到其他datanode机器的/root/.ssh/authorized_keys文件的尾部，如果其他机器中没有这个文件就自己手动创建一个。

 

建立Hadoop存储目录并修改owner

 

mkdir /opt/hadoop

 

 

chown hdfs:hadoop /opt/hadoop

 

 

mkdir /opt/hadoop/mapred

 

 

chown mapred:hadoop /opt/hadoop/mapred

 

修改配置文件并分发

 

修改/etc/hadoop/conf/core-site.

 

[html]  

  

 

  

 

 

修改/etc/hadoop/conf/hdfs-site.

[html 

  

 

  

 

 

修改/etc/hadoop/conf/mapred-site.

[html 

  

 

  

 

 

将conf文件夹分发的datanode机器上。

scp -r /etc/hadoop/conf [email protected]:/etchadoop/conf

 

scp -r /etc/hadoop/conf [email protected]:/etchadoop/conf

scp -r /etc/hadoop/conf [email protected]:/etchadoop/conf

limit设置

vi /etc/security/limits.conf 

加上这些字段

*               soft    nofile          65535

*               hard    nofile          131070

root            soft    nofile          65535

root            hard    nofile          131070

hdfs            soft    nofile          65535

hdfs            hard    nofile          131070

mapred          soft    nofile          65535

mapred          hard    nofile          131070

hosts和hostname设置

 拓展阅读：西安搬家公司

修改/etc/hosts加上集群所有机器的hostname和对应的IP