跳到主要内容
目录

Kafka 源码阅读:12. Rebalance 机制

0. 本章定位

Kafka 源码阅读:12. Rebalance 机制:本文为源码阅读系列的一部分,假设读者已掌握对应中间件的基本概念与 Java 并发编程。建议先在本地搭建环境,再跟着章节顺序逐节 Debug,不要一次性读完——Flink / Kafka / HBase 等系统的状态机跨多个类,单纯阅读很难形成肌肉记忆。

实战建议

读源码时建议配合官方文档 + 单测用例 + 实际日志三件套:单测展示 happy path,日志展示异常路径,文档提供整体架构。生产环境遇到问题,回到对应章节能节省大量调试时间。

Rebalance 是消费者组最重要也最容易出问题的机制。

1. 触发条件

  • 新成员加入 (Join)。
  • 成员主动离开 (Leave)。
  • 成员崩溃 (Heartbeat Timeout)。
  • 订阅的 Topic Partition 数量变化。

2. 流程 (两阶段)

Phase 1: JoinGroup

  • 所有成员发送 JoinGroupRequest 给 Coordinator。
  • Coordinator 选出一个 Leader(通常是第一个加入的)。
  • Coordinator 将所有成员的 Metadata 发送给 Leader。

Phase 2: SyncGroup

  • Leader 在本地计算分区分配方案(如 Range, RoundRobin)。
  • Leader 发送 SyncGroupRequest 给 Coordinator(包含分配方案)。
  • 其他成员也发送 SyncGroupRequest(不含方案,仅获取结果)。
  • Coordinator 将方案下发给所有成员。

3. 优化 (Static Membership)

为了避免临时网络抖动导致的 Rebalance,Kafka 引入了 Static Membership (group.instance.id)。 设置了 ID 的消费者重启后,只要在 Session Timeout 内回来,就不会触发 Rebalance。


Next: Kafka 源码阅读:13. Fetcher

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持