我是在linux环境下,Ubuntu14.04下配置的 
资源:java+eclipse+hadoop2.6.2 
里面包括了,Java(1.7和1.8都有,我用的1.8),eclipse,hadoop2.6.2 还有eclipse的hadoop2.6.0的插件

配置java 
以jdk-8u40-linux-x64.gz为例,在你的java下载目录下
1.<code class=" hljs lasso">sudo tar -zxvf jdk-8u40-linux-x64.gz
2.sudo mv hadoop-2.6.0 /usr/local/jdk1.8.0_40  </code>

然后

1.<code class=" hljs bash">sudo gedit /etc/profile </code>

在最后面添加

1.<code class=" hljs bash">export JAVA_HOME=/usr/local/jdk1.8.0_40
2.export PATH=$PATH:$JAVA_HOME/bin
3.export    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar</code>

第一行代码目的是加环境变量,可以用JAVA_HOME代替/usr/local/jdk1.8.0_40这个地址,后面就可以少写一点。 
第二行代码目的是,为了方便运行java程序,这样涉及到程序软件要调用java时,只需要用java -arg 就可以,而不用找java的路径。 
第三行代码的目的是,当需要用到jar的包时,系统会自动从classpath的路径里寻找加载 
然后 
source /etc/profile 
重新编译一遍profile就安装好了java。可输入

1.<code class=" hljs livecodeserver">java -version</code>

来测试

2.安装ssh

1.<code class=" hljs lasso">sudo apt-get install ssh
2.ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
3.cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys</code>

安装ssh的主要目的是因为登陆远程主机会用ssh协议,第二行代码是自己创建了一对密钥,分别为id_dsa和id_dsa.pub。第三行代码是把公钥传递给自己的公钥目录。具体ssh这样的原理可自行百度。

3.配置Hadoop2.6.0 
在你hadoop的下载目录下

1.<code class=" hljs lasso">sudo tar -zxvf hadoop-2.6.0.tar.gz
2.sudo mv hadoop-2.6.0 /usr/local/hadoop
3.sudo chmod -R 777 /usr/local/hadoop</code>

然后

1.<code class=" hljs bash">sudo gedit /etc/profile</code>

在后面加入

1.<code class=" hljs bash">export HADOOP_HOME=/usr/local/hadoop
2. 
3.export PATH=$PATH:$HADOOP_HOME/bin
4. 
5.export PATH=$PATH:$HADOOP_HOME/sbin</code>

而后

1.<code class=" hljs lasso">sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh</code>

将JAVA_HOME的值改为/usr/local/jdk1.8.0_40

然后修改 
etc/hadoop/core-site.xml

01.<code class=" hljs xml"><configuration>
02.<property>
03.<name>hadoop.tmp.dir</name>
04.<value>/usr/local/hadoop/tmp</value>
05.<description>Abase for other temporary directories.</description>
06.</property>
07.<property>
08.<name>fs.defaultFS</name>
09.<value>hdfs://localhost:9000</value>
10.</property>
11.</configuration></code>

修改mapred-site.xml

1.<code class=" hljs xml"><configuration>
2.<property>  
3.<name>mapred.job.tracker</name> 
4.<value>localhost:9001</value>  
5.</property>  
6.</configuration></code>

修改yarn-site.xml

01.<code class=" hljs xml"><configuration>
02.<property>
03.<name>mapreduce.framework.name</name>
04.<value>yarn</value>
05.</property>
06. 
07.<property>
08.<name>yarn.nodemanager.aux-services</name>
09.<value>mapreduce_shuffle</value>
10.</property>
11.</configuration></code>

修改hdfs-site.xml

01.<code class=" hljs xml"><configuration>
02.<property>
03.<name>dfs.replication</name>
04.<value>1</value>
05.</property>
06.<property>
07.<name>dfs.namenode.name.dir</name>
08.<value>file:/usr/local/hadoop/dfs/name</value>
09.</property>
10.<property>
11.<name>dfs.datanode.data.dir</name>
12.<value>file:/usr/local/hadoop/dfs/data</value>
13.</property>
14.<property>                 //这个属性节点是为了防止后面eclopse存在拒绝读写设置的
15.<name>dfs.permissions</name>
16.<value>false</value>
17.</property>
18.</configuration></code>

sudo gedit /usr/local/hadoop/etc/hadoop/masters 添加:localhost

sudo gedit /usr/local/hadoop/etc/hadoop/slaves 添加:localhost

然后 
创建好临时目录和datanode与namenode的目录

1.<code class=" hljs haskell">cd /usr/local/hadoop
2.mkdir tmp dfs dfs/name dfs/data</code>
1.<code class=" hljs lasso">bin/hdfs namenode -format
2.sbin/start-dfs.sh
3.sbin/start-yarn.sh</code>

bin/hdfs namenode -format成功的话,最后的提示如下,Exitting with status 0 表示成功,Exitting with status 1: 则是出错。 
尽量不要用start-all.sh,以为hadoop作者发现这个脚本可能有点问题。 
http://localhost:50070来查看Hadoop中hdfs的信息 
http://localhost:8088 查看all application的信息

然后输入以下代码可以来测试

1.<code class=" hljs lasso">bin/hdfs dfs -mkdir /user
2.bin/hdfs dfs -mkdir /user/<username>
3.bin/hdfs dfs -put etc/hadoop input
4.bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'
5.bin/hdfs dfs -cat output/*</code>

正常情况下会有wordcount的输出结果

4.配置eclipse 
下载完eclipse和其插件后,先解压缩eclipse然后 
把hadoop-eclipse-plugin-2.6.0.jar这个文件放在eclipse/plugins这个目录下。 
具体配置可以参照这个文档,我也是照着配的,原博是2.4.0的,我试过,2.6.0也是一样的配置。 
Eclipse下搭建Hadoop2.6.0开发环境

  • 安装插件

  • 配置Map/Reduce 视图
  • 控制台会多出一个“Map/Reduce Locations”的Tab页
  • 新建Map/Reduce任务

09-25 12:16