Hadoop 2.7 单机 伪分布模式

说明：系统为centos6.5、jdk版本为1.7、Hadoop版本为2.7.红色字体为输入内容，紫色字体为路径及注意
一、jdk安装
1、安装jdk1.7
    rpm -ivh jdk-7u79-linux-x64.rpm

2、配置环境变量    在/etc/profile文件最后添加
    vim /etc/profile
    ####JAVA_HOME####
    JAVA_HOME=/usr/java/default
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    PATH=$PATH:$JAVA_HOME/bin
    export JAVA_HOME CLASSPATH PATH
3、文件立即生效
    source /etc/profile
二、ssh无密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

三、Hadoop安装
1、包在 /home/sky（sky是我的用户名) 下解压
     tar -xzvf hadoop-2.7.1.tar.gz
2、配置jdk路径，文件hadoop-env.sh所在路径为/home/sky/hadoop-2.7.1/etc/hadoop/
    vim hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.7.0_79
3、单机模式验证
    进入hadoop所在路径  /home/sky/hadoop
    bin/hadoop （显示hadoop脚本的使用文档）
    操作实例：
    (1)mkdir input
    (2)cp etc/hadoop/*.xml input
    (3)bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'
      hadoop-mapreduce-examples-2.7.1.jar是share/hadoop/mapreduce文件夹中的jar包
    (4)cat output/*
    输出结果为：1 dfsadmin
伪分布式模式
1、修改配置文件，文件所在路径都为 /home/sky/hadoop-2.7.1/etc/hadoop/
（1）vim core-site.xml (在文本相应位置添加红色部分)
    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
 (2) vim hdfs-site.xml (在文本相应位置添加红色部分)
    <configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
    </configuration>
（3）mapred-site.xml不存在，所以先复制mapred-site.xml.template
      cp mapred-site.xml.template mapred-site.xml
      vim mapred-site.xml    (在文本相应位置添加红色部分)
    <configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
        </property>
    </configuration>
2、格式化namenode
    bin/hdfs namenode -format
3、启动集群
    sbin/start-dfs.sh
4、伪分布式验证，浏览器中输入   http://localhost:50070/
    
5、配置Yarn
(1)修改配置文件，文件所在路径为 /home/sky/hadoop-2.7.1/etc/hadoop/
    vim mapred-site.xml (在文本相应位置添加红色部分)
    <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    </configuration>
(2)修改配置文件，文件所在路径为 /home/sky/hadoop-2.7.1/etc/hadoop/
    vim yarn-site.xml (在文本相应位置添加红色部分)
    <configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    </configuration>
(3)启动 在/home/sky/hadoop路径下

    sbin/start-yarn.sh
(4)Yarn验证,浏览器输入：  http://localhost:8088