Kafka是什么?
是一个分布式流式处理平台,流平台一个关键的功能就是消息队列。
项目中使用Kafka消息队列,对评论、点赞、关注功能发布通知,封装为Event实体类。
消费者负责将消息队列中的Event取出,并将其封装为Message对象,并持久化到数据库中保存。
为什么使用Kafka?
了解到除了Kafka还有其他的消息队列,比如RabbitMQ。
在处理大量数据时,kafka的性能更高,比如我们将event封装为Message存储到数据库,执行的是顺序批量操作。RabbbitMQ的效率要低于Kafka,但是RabbitMQ的消息可靠性更高。
Kafka消息模型?
- Producer将生产者发布的消息放到Topic中,Topic作为消息的载体。
- 这个Topic实际是在一个Broker中,一个Broker(代理)有多个Topic。
- Partition(分区)是Topic的一部分,一个Topic可以有多个Partition,Partition作用就是消息队列中的队列。消息在被追加到 Partition(分区)的时候都会分配一个特定的偏移量(offset)。Kafka 通过偏移量(offset)来保证消息在分区内的顺序性。
- Comsumer消费者被动消费Topic中的数据。
Kafka如何保证数据不丢失?
- 生产者方面:
kafka中,生产者是调用s