hadoop2

扫码查看

1 案例1:安装与部署

对mapred和yarn文件进行配置

验证访问Hadoop

Hadoop三大核心组件

1.分布式文件系统

HDFS已经部署完毕

2.分布式计算框架

MapReduce

3.集群资源管理

yarn

1.2 方案

在day05准备好的环境下给master (nn01)主机添加ResourceManager的角色,在node1,node2,node3上面添加NodeManager的角色,如图-1所示:

 步骤一:安装与部署hadoop

1)配置mapred-site(nn01上面操作)

 cd /usr/local/hadoop/etc/hadoop/

 mv mapred-site.xml.template mapred-site.xml

 vim mapred-site.xml 

2)配置yarn-site(nn01上面操作)

 同步到所有机器

 for i in 61 62 63; do rsync -aXSH --delete /usr/local/hadoop/etc/hadoop/ 192.168.1.$i:/usr/local/hadoop/etc/hadoop/; done

验证配置

cd /usr/local/hadoop
./sbin/start-dfs.sh
./sbin/start-yarn.sh
 jps

5)web访问hadoop
 

 ./sbin/start-yarn.sh      #开启   如果机器关过机报错的话,reboot一下虚拟机

 完了jps查看一下

./bin/yarn node -list    #列出所有的节点

 2 案例2:Hadoop词频统计

 3 案例3:节点管理

1.增加一个新的节点

启动一个新的系统,设置ssh免密登录

在所有节点修改/etc/hosts ,增加新节点的主机信息

安装java运行环境(java-1.8.0-openjdk-devel)

修改namenode的slaves文件增加该节点

拷贝NameNode的 /usr/local/hadoop到本机

在该节点启动datanode

2.查看状态

3.删除节点

02-10 05:22
查看更多