Kafka是什么?

是一个分布式流式处理平台,流平台一个关键的功能就是消息队列。

项目中使用Kafka消息队列,对评论、点赞、关注功能发布通知,封装为Event实体类。
消费者负责将消息队列中的Event取出,并将其封装为Message对象,并持久化到数据库中保存。

为什么使用Kafka?

了解到除了Kafka还有其他的消息队列,比如RabbitMQ。

在处理大量数据时,kafka的性能更高,比如我们将event封装为Message存储到数据库,执行的是顺序批量操作。RabbbitMQ的效率要低于Kafka,但是RabbitMQ的消息可靠性更高。

Kafka消息模型?

  • Producer将生产者发布的消息放到Topic中,Topic作为消息的载体。
  • 这个Topic实际是在一个Broker中,一个Broker(代理)有多个Topic。
  • Partition(分区)是Topic的一部分,一个Topic可以有多个Partition,Partition作用就是消息队列中的队列。消息在被追加到 Partition(分区)的时候都会分配一个特定的偏移量(offset)。Kafka 通过偏移量(offset)来保证消息在分区内的顺序性。
  • Comsumer消费者被动消费Topic中的数据。

Kafka如何保证数据不丢失?

  • 生产者方面:
    kafka中,生产者是调用s
06-01 07:23