一、storm版本

选用storm0.9.6

Storm分布式集群搭建-LMLPHP

二、本地模式

用于对storm业务逻辑的调试和测试,可以直接在本地运行。

三、分布式模式

生产环境,需要对应的zookeeper、nimbus、supervisor和storm UI

四、主节点Nimbus。

nimbus作为storm的核心,肩负着对topology的调度和分配,接受storm客户端的命令以及storm UI的请求等任务。

master节点上部署nimbus

下载地址:http://storm.apache.org/2015/11/05/storm096-released.html

Storm分布式集群搭建-LMLPHP

master 节点上  上传 解压

Storm分布式集群搭建-LMLPHP

配置nimbus

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

找到zookeeper存在的目录   创建storm

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

注意:

Storm分布式集群搭建-LMLPHP

下面的配置可以更加方面 不用去目录下运行了

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

使其生效

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

启动nimbus

Storm分布式集群搭建-LMLPHP

五、工作节点Supervisor

Supervisor监听Nimbus的任务分配,启动worker来对相应的任务进行处理。通时Supervisor会对本地的worker进程进行监控,如果发现状态不正常会重启worker。如果任务多次失败,则将该任务交还给Nimbus进行再次重新分配。

将master节点的包发送至其他节点:scp apache-storm-0.9.6.tar.gz slave1:/home/hadoop/app

scp apache-storm-0.9.6.tar.gz slave2:/home/hadoop/app

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

解压:[hadoop@slave1 app]$ tar -zxvf apache-storm-0.9.6.tar.gz

[hadoop@slave2 app]$ tar -zxvf apache-storm-0.9.6.tar.gz

将master节点的配置文件拷贝到slave1  slave2

Storm分布式集群搭建-LMLPHP

后台启动

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

查看进程

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

Storm分布式集群搭建-LMLPHP

六、storm UI

web服务器,在指定端口提供网页服务。可以获取系统配置、作业和各个组件的运行状态;可以暂停和撤销作业。

在nimbus节点(master)上部署storm UI

在nimbus节点启动strom UI

Storm分布式集群搭建-LMLPHP

查看进程

Storm分布式集群搭建-LMLPHP

页面访问

192.168.80.11:8080

Storm分布式集群搭建-LMLPHP

报错

记得启动zookeeper

Storm分布式集群搭建-LMLPHP

七、storm配置项

https://github.com/apache/storm/blob/master/conf/defaults.yaml

05-26 02:43