hadoop完全分布式部署

1.我们先看看一台节点的hdfs的信息：(已经安装了hadoop的虚拟机：安装hadoophttps://www.cnblogs.com/lyx666/p/12335360.html)

start-dfs 打开hdfs需要启动的服务

然后再浏览器输入http://虚拟机ip地址:50070

问下滑： 可以看到以下相关信息

可以看到集群总容量大概为10G，而该集群只有一台机器，所以集群容量=该机器容量，可以看看这台虚拟机的硬盘是不是10G.

df -h / #确实是10G

2.接下来就要扩容该集群的容量，将这台虚拟机克隆(克隆步骤省略)

3.克隆机需要先配置以下

把克隆的dfs文件夹清空

将该文件夹下的数据清空：rm -rf *

网络ip：

BOOTPROTO=static 原本为DHCP

ONBOOT=yes 原本为no

IPADDR=192.168.43.62 ip地址 在网段里就行

NETMASK=255.255.255.0 子网掩码

GATEWAY=192.168.43.1 网关 需要查看主机的ipv4地址配置

DNS1=8.8.8.8 谷歌的dns解析

改完后重启网络：systemctl restart network

修改主机名

我这里是已经修改好了的，你们原本应该是localhost的主机名，我修改成lyx-62



修改后记得重启这台虚拟机：reboot

配置ip和主机名映射 还需要加上被克隆的虚拟机的ip和主机映射 【注意：这里两台都要添加修改】

修改后记得重启这两台虚拟机：reboot

配置ssh免密通信

（lyx-62）ssh-keygen #创建密钥对#

（lyx-62）ssh-copy-id lyx-62 #将公钥复制到lyx-62 也就是本机

注意这里另一台也需要(lyx-61)：ssh-copy-id lyx-62 这样两台就能免密通信

修改hdfs-site.xfs配置文件 副本数修改为3【注意两台机器都需要修改】

 <configuration>

          <property>

                  <name>dfs.replication</name>

                  <value>3</value>

          </property>

  </configuration>

将克隆机主机名添加到slaves配置文件中 也就是加入到集群中 这里修改的是【被克隆的】slaves.xml文件

3.只启动被克隆的hdfs需要的服务

start-dfs.sh  #可以看到lyx-62启动了datanode服务，说明它已经加入到这个集群了 所以它的硬盘也被加入到集群了

接下来我们在回过头来看看集群信息 可以发现硬盘容量增加了，说明lyx-62这台也被加入到集群了。