Kafka 源码解读
深入 Apache Kafka 源码,探索高吞吐分布式消息队列的底层实现。涵盖 Producer, Consumer, Broker, Controller, KRaft 等核心机制。
文章
- 3 min read Kafka 源码解读
Kafka 源码阅读:08. 延时操作 (Purgatory)
Kafka Purgatory 延时任务源码解析:Hierarchical Timing Wheels + Watcher List 实现 O(1) 延时请求管理,支撑 acks=all 等异步场景。
- 2 min read Kafka 源码解读
Kafka 源码阅读:05. Sender 线程
Kafka Sender 线程源码解析:drain 提取批次、按 Node 分组、createClientRequests 构建 ProduceRequest、NetworkClient 发送全流程。
- 2 min read Kafka 源码解读
Kafka 源码阅读:00. 阅读大纲与学习路线
Apache Kafka 源码阅读系列大纲。从 Scala 到 Java,从 ZK 到 KRaft,深入剖析消息系统的王者。
- 2 min read Kafka 源码解读
Kafka 源码阅读:12. Rebalance 机制
Kafka Rebalance 机制源码解析:触发条件(Join/Leave/Heartbeat/PartitionChange)、JoinGroup 与 SyncGroup 两阶段流程。
- 2 min read Kafka 源码解读
Kafka 源码阅读:01. 环境搭建与源码编译
Kafka 3.x 源码编译环境搭建(JDK 11+ / Gradle / Scala)全流程:源码获取、IDEA 导入、可运行 Demo 调试配置。
- 2 min read Kafka 源码解读
Kafka 源码阅读:07. 日志存储 (Log Storage)
Kafka 日志存储源码解析:LogSegment 切分、稀疏索引、磁盘顺序写、零拷贝 sendfile 与 MMAP 的高吞吐实现。
- 2 min read Kafka 源码解读
Kafka 源码阅读:02. 架构概览
Kafka 核心架构总览:Topic / Partition / Offset 逻辑模型、Broker / Controller / Coordinator 物理角色、消息生产消费全链路。
- 2 min read Kafka 源码解读
Kafka 源码阅读:11. GroupCoordinator
Kafka GroupCoordinator 源码解析:消费者组协调者的定位算法、状态机(Empty / PreparingRebalance / Stable)与心跳管理。
- 2 min read Kafka 源码解读
Kafka 源码阅读:13. Fetcher
Kafka Fetcher 源码解析:Consumer 主动拉取模式、sendFetches 构建 FetchRequest、handleFetchResponse 缓存与返回。
- 2 min read Kafka 源码解读
Kafka 源码阅读:06. 网络层设计
Kafka Broker 网络层源码解析:基于 Java NIO 的 Reactor 多线程模型、SocketServer / Acceptor / Processor / RequestChannel 协作。
- 2 min read Kafka 源码解读
Kafka 源码阅读:04. RecordAccumulator
Kafka RecordAccumulator 源码解析:ProducerBatch 合并、BufferPool 内存池复用、双端队列与 CopyOnWriteMap 的高吞吐设计。
- 2 min read Kafka 源码解读
Kafka 源码阅读:14. 副本同步机制
Kafka 副本同步机制源码解析:ReplicaFetcherThread、Leader/Follower LEO 与 HW 更新、ISR 维护与数据一致性。
- 2 min read Kafka 源码解读
Kafka 源码阅读:10. KRaft 共识协议
Kafka KRaft 共识协议源码解析:Controller Quorum + Metadata Log 取代 ZooKeeper、RaftClient 与 QuorumController 实现。
- 2 min read Kafka 源码解读
Kafka 源码阅读:09. 传统 Controller
Kafka 传统 Controller 源码解析:基于 ZooKeeper 的选举机制、Partition 状态机、Leader 选举与集群元数据管理。
- 2 min read Kafka 源码解读
Kafka 源码阅读:15. 事务 (Transaction)
Kafka 事务源码解析:TransactionalId、Transaction Coordinator、Transaction Log、2PC 提交与 Exactly Once Semantics 实现。
- 14 min read Kafka 源码解读
Kafka 源码的十年:不变的核心与读源码的方法
对比 2017 年的 Kafka 0.10 与今天的 4.x:消息格式、控制器、再均衡协议都换过两轮,但三条核心不变量——offset 是序号、高水位是 ISR 内最小 LEO、顺序靠队列而不是 TCP——一个字都没变。顺带给出 Kafka 与 PacificA 在副本落后时的路线差异,以及读源码的三个抓手。
- 2 min read Kafka 源码解读
Kafka 源码阅读:03. Producer 初始化与 Metadata 更新
Kafka Producer 初始化与 Metadata 更新源码解析:Partitioner 分区策略、RecordAccumulator 缓冲、Sender 线程与 NetworkClient 协作。