导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus
re Server 指标提取2. HiveServer2 指标提取 三、Impala 指标提取1. Impala Catalog Server 指标提取2. Impala Daemon 指标提取 四、Kafka 指标提取1. Kafka Broker 指标提取2. Kafka MirrorMaker 指标提取 五、KUDU指标提取1. Tablet Server 指标提取1.1 下载和解压1.2 修改配置文...
Kafka如何将消息发送到指定分区
背景 面试一个时，面试官问了一个问题，Kafka如何做到顺序消息。我回答只给Kafka的Topic创建一个分区，发送到该Topic的消息在Kafka中就是有序的。 面试官又问，如果Topic有多个分区呢？我回答消息发送者在发送消息的时候，指定分区进行发送，可以在发送消息时，每次指定相同的Key。但是面试官说这样做不到，我后面去查了资料，是可以做到的，我当时也没有反驳，毕竟我是一个求职者，跟面试官产生冲突也...
Kafka - Kafka 为啥抛弃 Zookeeper？
Zookeeper加kafka 的架构，有三层角色： zookeeper ，提供基础的状态持久化和状态通知服务 controller ，基于zookeeper提供的服务，给松散的broker提供统一的状态服务，但它本身没有状态服务，它是依赖zookeeper 的服务来做主控 一层是broker ，无状态服务，因为他们无状态，无法自发组织起来，所以需要controller为他们做主控。其中有一个broker...
安装kafka需优先安装 zookeeper ,scala
安装kafka需优先安装 zookeeper ,scala scala安装（如安装略过） 现在 wget https://downloads.lightbend.com/scala/2.12.11/scala-2.12.11.tgz解压 tar -zxvf scala-2.12.11.tgz编辑环境变量 vim /etc/profile添加环境变量 （export SCALA_HOME=/apps/scal...
面试题：Kafka中Controller的作用是什么？选举流程是怎样的？以及如何避免脑裂问题？
题目来源 网上冲浪：还不懂分布系统，速看深度剖析Kafka Controller选举过程 在查找关于Kafka单机分区的上限以及分区多了会有怎样的问题的时候，发现了这个比较有趣的问题，就记录了下来。 一般所有的分布式系统，都会涉及到这个问题：脑裂、以及如何避免脑裂问题。 题目描述 Kafka中Controller的作用是什么？Kafka中Controller的选举流程是什么？Kafka脑裂是什么？Kafk...
面试题：Kafka的吞吐量和性能为什么那么好？以及Topic或者分区多了之后，会有什么问题？
题目来源 阿里-技术-1面 题目描述 Kafka的单个Broker上的Topic或者分区多了之后，会有什么问题？ 我的回答 没了解过 更好的答案 一般来说，我们需要基于单个Broker来评判这个问题，因为在集群中，10个分区分布在10个Broker上，是不会有性能问题的。下面就针对单个Broker来讨论下Topic或者Broker多了，会有什么问题。 结论 Kafka Broker利用了磁盘的顺序读写的特...
Spark面试整理-Spark集成Kafka
Apache Spark和Apache Kafka的集成使得实时数据流处理成为可能。Kafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用。而Spark是一个大规模数据处理工具，可以对大量数据进行批处理和实时处理。 Spark集成Kafka主要通过Spark Streaming或者Structured Streaming实现，可以从Kafka中读取数据，处理后再写回Kafka或者其他存储系统。...
【Kafka】Kafka快速实战与基本原理详解
Kafka基本概念 kafka是一个分布式的，分区的消息(官方称之为 commit log )服务。首先，让我们来看一下基础的消息( Message )相关术语： 因此，从一个较高的层面上来看，producer通过网络发送消息到Kafka集群，然后consumer来进行消费，服务端(brokers)和客户端(producer、consumer)之间通信通过TCP协议 来完成。...
老项目接入kafka消费信息另一种方式
前言 这次跟大家分享kafka消费的另一种接入实现。其实原因是因为目前这个项目的框架太老了，springboot还是1.5的，直接用注解@KafkaListener无法消费的问题。我也不想调这个框架，没工时不说，万一再整出兼容性问题，那问题就大了，而且现在时间太赶了。 一、目标场景 目前是物联网设备的流水上报后，会存ES，同时经过物模型解析后，会往下游kafka推送信息。下游系统接收kafk...
kafka-eagle 配置文件修改使用自带的数据库
###################################### multi zookeeper & kafka cluster list Settings prefixed with ‘kafka.eagle.’ will be deprecated, use ‘efak.’ instead ###################################### efak.zk.clu...