目录

实验环境

安装scala

安装kafka

搭建kafka集群

启动kafka集群


本文主要介绍安装kafka集群

实验环境

scala版本:scala-2.11.6

kafka版本 : kafka_2.11-2.1.1.tgz

kafka可以到官网下载自己需要的版本:http://kafka.apache.org/

6.Spark大型电商项目-大数据环境搭建之kafka集群-LMLPHP

安装scala

在三台机器上分别用一下命令行安装scala

检验安装情况

6.Spark大型电商项目-大数据环境搭建之kafka集群-LMLPHP

安装kafka

将kafka安装到目录/usr/local/下

加压安装包

重命名

修改文件权限

配置文件

Master 的broker.id设置为0,Worker1的broker.id设置为1,Worker2的broker.id设置为2

下载slf4j文件

可以到官网下载自己需要的版本:https://mvnrepository.com/artifact/org.slf4j/slf4j-nop

6.Spark大型电商项目-大数据环境搭建之kafka集群-LMLPHP

将下载的jar包上传到kafka文件下的libs文件中

搭建kafka集群

使用远程拷贝命令将kafka文件拷贝到Worker1和Worker2上

将config中的server.properties文件中的broker.id分别改为1和2

启动kafka集群

首先解决kafka Unrecognized VM option ‘UseCompressedOops’问题

去掉-XX:+UseCompressedOops即可

在三台机器上的kafka目录下,分别执行以下命令

查看状态

在三个节点上分别显示如上信息说明kafka已经启动成功。

 

 

02-24 17:30