由于机器学习算法在处理大数据处理的时候在所难免的会效率降低,公司需要搭建hadoop集群,最后采用了商业版的Hadoop2(MapR)。

  官网:   http://doc.mapr.com/display/MapR/Installing+MapR+Software

  一 前期有一些集群的准备工作:

   请参考本人前几篇集群搭建的总结文档 及 官方文档 http://doc.mapr.com/display/MapR/Preparing+Each+Node

  

  二 搭建MapR

  1 创建本地仓库

  1)root用户登陆,拥有最高权限

  2)创建以下目录结构

~/mapr
.
├── dists
│ └── binary
│ └── optional
│ └── binary-amd64
└── mapr

  3)下载两个文件到本地,url:注意替换相应的版本号: 本人使用的 v5.0.0

http://package.mapr.com/releases/v<version>/ubuntu/mapr-v<version>GA.deb.tgz
http://package.mapr.com/releases/ecosystem-5.x/ubuntu/mapr-ecosystem-5.x-<datestamp>.deb.tgz

  文件共7G,比较大,网速好的时候下。并解压文件。

  4)进入路径/root/mapr/, 并创建文件 Packages.gz

dpkg-scanpackages . /dev/null | gzip -9c > ./dists/binary/optional/binary-amd64/Packages.gz

  5)把路径 /root/mapr 下的所有文件移动到路径 /var/www/html 下。为了方便 Apache HTTP Server 发布。

  2 安装 Apache HTTP Server

sudo apt-get apache2

  验证安装成功:浏览器 http://127.0.0.1 显示欢迎页面

  注意:apache 发布的文件默认路径在   /var/www/html

  3 配置apt命令

  1)配置文件/etc/apt/sources.list,增加下面的一行:

deb http://<host>/mapr binary optional

eg

deb http://10.4.45.249/mapr binary optional

本人的hostname是apm,在hostname表中配置,并且绑定静态ip,这些都是准备工作,可以查看本人前几篇文。

  2)更新sources.list文件:

apt-get update

  4 安装mapr包的key:

wget -O - http://package.mapr.com/releases/pub/maprgpg.key | sudo apt-key add -

  5 安装mapr的子模块:

apt-get install <package_name> <package_name> <package_name>

  具体例:eq  安装mapr-fileserver mapr-tasktracker两个模块

apt-get install mapr-fileserver mapr-tasktracker

  对应的安装自己需要的模块即可。

  自动在本地下载这些依赖。

  6 查看安装成功否

# ls -l /opt/mapr/roles
total
-rwxr-xr-x root root Aug : fileserver
-rwxr-xr-x root root Aug : tasktracker
-rwxr-xr-x root root Aug : webserver
-rwxr-xr-x root root Aug : zookeeper

  说明 fileserver tasktracker webserver zookeeper 四个模块已经成功安装。

  设置环境变量略,mapr的根目录在   /opt/mapr

  插曲:开始本人使用联网下载方式安装这些模块,结果公司网络代理部给力,所以采用了本地的模式安装这个仓库。

  若你也是这样,那一定要清空cache里的缓存,否则apt-get 的时候不会成功。

  附录:各模块表,只参考YARN那一列 即可:

Hadoop实战1:MapR在ubuntu集群中的安装-LMLPHP

04-14 00:10