Kafka如何实现高效的数据分区管理？

本文共计6167个文字，预计阅读时间需要25分钟。

一、副本机制+Kafka在预定数量的服务器上对主题分区进行复制。当集群中的第一个broker故障后，系统可以将故障转移到其他可用的副本上，不会造成数据丢失。创建主题：`kafka-topics.sh`

一、副本机制

Kafka在⼀定数量的服务器上对主题分区进⾏复制。

当集群中的⼀个broker宕机后系统可以⾃动故障转移到其他可⽤的副本上，不会造成数据丢失。

创建主题：

kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic tp_demo_02 --partitions 2 --replication-factor 3

上面创建主题中的 --replication-factor 3 表示有3个副本，1个Leader + 2个 Follower

1. 将复制因⼦为1的未复制主题称为复制主题。
2. 主题的分区是复制的最⼩单元。
3. 在⾮故障情况下，Kafka中的每个分区都有⼀个Leader副本和零个或多个Follower副本。
4. 包括Leader副本在内的副本总数构成复制因⼦。
5. 所有读取和写⼊都由Leader副本负责。
6. 通常，分区⽐broker多，并且Leader分区在broker之间平均分配

Follower分区像普通的Kafka消费者⼀样，消费来⾃Leader分区的消息，并将其持久化到⾃⼰的⽇志中。