我是在linux环境下,Ubuntu14.04下配置的
资源:java+eclipse+hadoop2.6.2
里面包括了,Java(1.7和1.8都有,我用的1.8),eclipse,hadoop2.6.2 还有eclipse的hadoop2.6.0的插件
以jdk-8u40-linux-x64.gz为例,在你的java下载目录下
1.
<code
class
=
" hljs lasso"
>sudo tar -zxvf jdk-8u40-linux-x64.gz
2.
sudo mv hadoop-
2.6
.
0
/usr/local/jdk1.
8
.0_40 </code>
然后
1.
<code
class
=
" hljs bash"
>sudo gedit /etc/profile </code>
在最后面添加
1.
<code
class
=
" hljs bash"
>export JAVA_HOME=/usr/local/jdk1.
8
.0_40
2.
export PATH=$PATH:$JAVA_HOME/bin
3.
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar</code>
第一行代码目的是加环境变量,可以用JAVA_HOME代替/usr/local/jdk1.8.0_40这个地址,后面就可以少写一点。
第二行代码目的是,为了方便运行java程序,这样涉及到程序软件要调用java时,只需要用java -arg 就可以,而不用找java的路径。
第三行代码的目的是,当需要用到jar的包时,系统会自动从classpath的路径里寻找加载
然后
source /etc/profile
重新编译一遍profile就安装好了java。可输入
1.
<code
class
=
" hljs livecodeserver"
>java -version</code>
来测试
2.安装ssh
1.
<code
class
=
" hljs lasso"
>sudo apt-get install ssh
2.
ssh-keygen -t dsa -P
''
-f ~/.ssh/id_dsa
3.
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys</code>
安装ssh的主要目的是因为登陆远程主机会用ssh协议,第二行代码是自己创建了一对密钥,分别为id_dsa和id_dsa.pub。第三行代码是把公钥传递给自己的公钥目录。具体ssh这样的原理可自行百度。
3.配置Hadoop2.6.0
在你hadoop的下载目录下
1.
<code
class
=
" hljs lasso"
>sudo tar -zxvf hadoop-
2.6
.
0
.tar.gz
2.
sudo mv hadoop-
2.6
.
0
/usr/local/hadoop
3.
sudo chmod -R
777
/usr/local/hadoop</code>
然后
1.
<code
class
=
" hljs bash"
>sudo gedit /etc/profile</code>
在后面加入
1.
<code
class
=
" hljs bash"
>export HADOOP_HOME=/usr/local/hadoop
2.
3.
export PATH=$PATH:$HADOOP_HOME/bin
4.
5.
export PATH=$PATH:$HADOOP_HOME/sbin</code>
而后
1.
<code
class
=
" hljs lasso"
>sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh</code>
将JAVA_HOME的值改为/usr/local/jdk1.8.0_40
然后修改
etc/hadoop/core-site.xml
01.
<code
class
=
" hljs xml"
><configuration>
02.
<property>
03.
<name>hadoop.tmp.dir</name>
04.
<value>/usr/local/hadoop/tmp</value>
05.
<description>Abase
for
other temporary directories.</description>
06.
</property>
07.
<property>
08.
<name>fs.defaultFS</name>
09.
<value>hdfs:
//localhost:9000</value>
10.
</property>
11.
</configuration></code>
修改mapred-site.xml
1.
<code
class
=
" hljs xml"
><configuration>
2.
<property>
3.
<name>mapred.job.tracker</name>
4.
<value>localhost:
9001
</value>
5.
</property>
6.
</configuration></code>
修改yarn-site.xml
01.
<code
class
=
" hljs xml"
><configuration>
02.
<property>
03.
<name>mapreduce.framework.name</name>
04.
<value>yarn</value>
05.
</property>
06.
07.
<property>
08.
<name>yarn.nodemanager.aux-services</name>
09.
<value>mapreduce_shuffle</value>
10.
</property>
11.
</configuration></code>
修改hdfs-site.xml
01.
<code
class
=
" hljs xml"
><configuration>
02.
<property>
03.
<name>dfs.replication</name>
04.
<value>
1
</value>
05.
</property>
06.
<property>
07.
<name>dfs.namenode.name.dir</name>
08.
<value>file:/usr/local/hadoop/dfs/name</value>
09.
</property>
10.
<property>
11.
<name>dfs.datanode.data.dir</name>
12.
<value>file:/usr/local/hadoop/dfs/data</value>
13.
</property>
14.
<property>
//这个属性节点是为了防止后面eclopse存在拒绝读写设置的
15.
<name>dfs.permissions</name>
16.
<value>
false
</value>
17.
</property>
18.
</configuration></code>
sudo gedit /usr/local/hadoop/etc/hadoop/masters 添加:localhost
sudo gedit /usr/local/hadoop/etc/hadoop/slaves 添加:localhost
然后
创建好临时目录和datanode与namenode的目录
1.
<code
class
=
" hljs haskell"
>cd /usr/local/hadoop
2.
mkdir tmp dfs dfs/name dfs/data</code>
1.
<code
class
=
" hljs lasso"
>bin/hdfs namenode -format
2.
sbin/start-dfs.sh
3.
sbin/start-yarn.sh</code>
bin/hdfs namenode -format成功的话,最后的提示如下,Exitting with status 0 表示成功,Exitting with status 1: 则是出错。
尽量不要用start-all.sh,以为hadoop作者发现这个脚本可能有点问题。
http://localhost:50070来查看Hadoop中hdfs的信息
http://localhost:8088 查看all application的信息
然后输入以下代码可以来测试
1.
<code
class
=
" hljs lasso"
>bin/hdfs dfs -mkdir /user
2.
bin/hdfs dfs -mkdir /user/<username>
3.
bin/hdfs dfs -put etc/hadoop input
4.
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.6
.
0
.jar grep input output
'dfs[a-z.]+'
5.
bin/hdfs dfs -cat output/*</code>
正常情况下会有wordcount的输出结果
4.配置eclipse
下载完eclipse和其插件后,先解压缩eclipse然后
把hadoop-eclipse-plugin-2.6.0.jar这个文件放在eclipse/plugins这个目录下。
具体配置可以参照这个文档,我也是照着配的,原博是2.4.0的,我试过,2.6.0也是一样的配置。
Eclipse下搭建Hadoop2.6.0开发环境
安装插件
- 配置Map/Reduce 视图
- 控制台会多出一个“Map/Reduce Locations”的Tab页
- 新建Map/Reduce任务