1 案例1:安装与部署
对mapred和yarn文件进行配置
验证访问Hadoop
Hadoop三大核心组件
1.分布式文件系统
HDFS已经部署完毕
2.分布式计算框架
MapReduce
3.集群资源管理
yarn
1.2 方案
在day05准备好的环境下给master (nn01)主机添加ResourceManager的角色,在node1,node2,node3上面添加NodeManager的角色,如图-1所示:
步骤一:安装与部署hadoop
1)配置mapred-site(nn01上面操作)
cd /usr/local/hadoop/etc/hadoop/
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
2)配置yarn-site(nn01上面操作)
同步到所有机器
for i in 61 62 63; do rsync -aXSH --delete /usr/local/hadoop/etc/hadoop/ 192.168.1.$i:/usr/local/hadoop/etc/hadoop/; done
验证配置
cd /usr/local/hadoop
./sbin/start-dfs.sh
./sbin/start-yarn.sh
jps
5)web访问hadoop
./sbin/start-yarn.sh #开启 如果机器关过机报错的话,reboot一下虚拟机
完了jps查看一下
./bin/yarn node -list #列出所有的节点
2 案例2:Hadoop词频统计
3 案例3:节点管理
1.增加一个新的节点
启动一个新的系统,设置ssh免密登录
在所有节点修改/etc/hosts ,增加新节点的主机信息
安装java运行环境(java-1.8.0-openjdk-devel)
修改namenode的slaves文件增加该节点
拷贝NameNode的 /usr/local/hadoop到本机
在该节点启动datanode
2.查看状态
3.删除节点