架构
Alauda Streaming Service for Kafka 利用 Kafka 的分布式架构提供了一种经过验证的高可用性解决方案,满足企业对高吞吐量、可靠性及弹性可扩展消息队列系统的要求。
目录
ZooKeeper 协调模式
ZooKeeper 协调模式是 Kafka 的传统分布式协调实现,利用 ZooKeeper 集群管理 Kafka 集群元数据、Broker 注册和控制器选举等核心功能。该模式具有以下特点:
- 成熟和稳定:在大规模生产环境中经过验证,具有极高的可靠性。
- 关注分离:ZooKeeper 专注于集群协调,而 Kafka Broker 则集中于消息处理。
- 自动故障转移:通过 ZooKeeper 的观察者机制实现自动控制器选举。
- 元数据管理:存储关键元数据,例如主题分区信息和消费者偏移量。
- 扩展依赖:需要额外维护 ZooKeeper 集群,增加了操作复杂性。

核心组件
-
ZooKeeper 集群
由奇数个节点组成的高可用集群,负责以下任务:
- Broker 注册和健康监测。
- 控制器选举和故障转移。
- 主题/分区元数据存储。
- 消费者组偏移量管理(已弃用版本)。
-
Kafka Broker 集群
由多个 Broker 节点组成的消息处理集群:
- 每个 Broker 在启动时注册到 ZooKeeper。
- 分区领导者由控制器进行选举。
- 支持横向扩展,通过增加 Broker 来提高吞吐量。