spark streaming kafka

SparkStreaming+Kafka
•kafka是什么，有哪些特点
•SparkStreaming+Kafka有什么好处
–解耦
–缓冲

　

　

消息列队的特点
生产者消费者模式
•可靠性保证
–自己不丢数据
–消费者不丢数据：“至少一次，严格一次”

broker
n. 经纪人，掮客
vt. 以中间人等身分安排...
vi. 作为权力经纪人进行谈判

　　

kafka部署
node2,3,4   基于zookeeper

启动 三台 zookeeper

/opt/sxt/zookeeper-3.4.6/bin/zkServer.sh start

配置kafka

tar -zxvf kafka_2.10-0.8.2.2.tgz -C /opt/sxt/
kafka_2.10-0.8.2.2/config/
vi server.properties
broker.id=0     ## node2为0 node3为1 node4为2
log.dirs=/kafka-logs
zookeeper.connect=node2:2181,node3:2181,node4:2181

## scp 到node3,node4,并且修改 broker.id=0

node2  kafka bin下 尝试启动一台
./kafka-server-start.sh ../config/server.properties
##编写脚本 使用后台启动

[root@node2 shells]# pwd
/root/shells
[root@node2 shells]# cat start-kafka.sh
cd /opt/sxt/kafka_2.10-0.8.2.2
nohup bin/kafka-server-start.sh config/server.properties >kafka.log 2>&1 &

## scp 到node3,4

## 批量执行 node2,3,4
/root/shells/start-kafka.sh  ##启动三台kafka集群成功。