Hadoop在Windows环境下的部署

安装JDK

1.下载JDK

http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html

2.解压

或者直接运行.exe安装

后面根据项目的实际需要来进行调整。

安装 Cygwin

1.下载Cygwin

网址： http://www.cygwin.com/setup.exe

2.安装Cygwin

1. Net Category 下的OpenSSL, Openssh

2. Base Category 下的sed

3.Editors Category 下的vim

4.Devel Category 下subversion

后面根据项目的实际需要来进行调整。

配置环境变量

1.配置JAVA 环境变量

PATH 和JAVA_HOME,CLASSPATH：

JAVA_HOME 指向JDK安装目录；

PATH 指向JDK的bin
CLASSPATH: .;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;

启动 SSHD 服务

1.安装SSHD

ssh-host-config

2. 启动SSHD

net start sshd

ssh 的安装和配置

实现ssh无密码登陆

$ssh-keygen -t rsa

直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对

出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

安装 Hadoop

1.下载Hadoop

http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
下载可下载1.2.X版本的,不一定需要下载0.2x,后面会发现有些库的引用不全.

2.解压Hadoop

tar xzvf hadoop-0.21.0.tar.gz

配置 Hadoop

1. 配置hadoop-env.sh

2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

概念

HDFS:

NameNode ：管理节点

DataNode ：数据节点

SecondaryNamenode : 数据源信息备份整理节点

MapReduce

JobTracker ：任务管理节点

Tasktracker ：任务运行节点

配置文件

core-site.xml common属性配置

hdfs-site.xml HDFS属性配置

mapred-site.xml MapReduce属性配置

hadoop-env.sh hadooop 环境变量配置

修改 hadoop-env.sh

配置JDK即可

export JAVA_HOME=/cygdrive/d/tools/jdk 此处注意修改为你的机器上的安装目录

core-site.xml

hdfs-site.xml

mapred-site.xml

启动 Hadoop

1.格式化文件系统

hadoop namenode –format

2. 启动hadoop

启动所有任务start-all.sh/stop-all.sh

启动关闭HDFS: start-dfs.sh/stop-dfs.sh

启动关闭MapReduce: start-mapred.sh/stop-mapred.sh

3. 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker
此处我的机器上没有那么多进程,不知道是不是没有显示

Hadoop 重要的端口

1.Job Tracker 管理界面：50030

2.HDFS 管理界面：50070

3.HDFS通信端口：9000

4.MapReduce通信端口：9001

常用访问页面

1. HDFS 界面

http://hostname:50070

2. MapReduce 管理界面

http://hostname:50030

安装差不多就这么多了.
参考文章: http://sishuok.com/forum/blogPost/list/5337.html

hnynes

Hadoop在Windows环境下的部署