架构

Alauda Streaming Service for Kafka 利用 Kafka 的分布式架构提供了一种经过验证的高可用性解决方案,满足企业对高吞吐量、可靠性及弹性可扩展消息队列系统的要求。

目录

ZooKeeper 协调模式

ZooKeeper 协调模式是 Kafka 的传统分布式协调实现,利用 ZooKeeper 集群管理 Kafka 集群元数据、Broker 注册和控制器选举等核心功能。该模式具有以下特点:

  • 成熟和稳定:在大规模生产环境中经过验证,具有极高的可靠性。
  • 关注分离:ZooKeeper 专注于集群协调,而 Kafka Broker 则集中于消息处理。
  • 自动故障转移:通过 ZooKeeper 的观察者机制实现自动控制器选举。
  • 元数据管理:存储关键元数据,例如主题分区信息和消费者偏移量。
  • 扩展依赖:需要额外维护 ZooKeeper 集群,增加了操作复杂性。

kafka zk 架构

核心组件

  1. ZooKeeper 集群
    由奇数个节点组成的高可用集群,负责以下任务:

    • Broker 注册和健康监测。
    • 控制器选举和故障转移。
    • 主题/分区元数据存储。
    • 消费者组偏移量管理(已弃用版本)。
  2. Kafka Broker 集群
    由多个 Broker 节点组成的消息处理集群:

    • 每个 Broker 在启动时注册到 ZooKeeper。
    • 分区领导者由控制器进行选举。
    • 支持横向扩展,通过增加 Broker 来提高吞吐量。