#Kafka
24 篇文章
相关文章
- 8 min read Kafka
深入解析时间轮(Timing Wheel):从 Kafka Purgatory 看高效定时任务调度
通过分析 Kafka Purgatory 的重构历程,深入探讨分层时间轮(Hierarchical Timing Wheel)的设计原理、性能优势及其在高性能定时任务调度中的应用。
- 12 min read kafka
Apache Kafka, Purgatory, and Hierarchical Timing Wheels
How can we efficiently keep track of tens of thousands of requests that are being asynchronously satisfied by other activity in the cluster?
- 4 min read kafka
Kafka & Nic Buffer
Kafka 网卡 Buffer 调优:网卡的 RX/TX ring buffer、IRQ 亲和性、TCP 缓冲区与 Kafka 高吞吐场景的最佳配置。
- 5 min read kafka
Kafka 调优十招:原理、实践与取舍
围绕分区、复制滞后、线程、压缩、确认、消费者抓取、Socket缓冲、KRaft超时、日志目录和复制因子十项关键调优,给出配置示例与工程化取舍。
- 6 min read Golang
基于Golang的电商库存中台系统设计与实现
电商库存中台的架构与实现,涵盖微服务设计、数据库建模、核心业务流程、秒杀优化、性能与监控,含配套时序/流程图与注释代码。
- 15 min read 日志
基于 Filebeat、Kafka、Flink、ES、ClickHouse、HBase 的日志系统建设
日志系统全链路实战:Filebeat → Kafka → Flink → Elasticsearch / ClickHouse / HBase 多存储后端对比与架构。
- 2 min read Flink 源码解读
Flink 源码阅读:17. Two-Phase Commit (2PC)
Flink 如何实现端到端的 Exactly-Once?Sink 端的两阶段提交详解。
- 2 min read Kafka 源码解读
Kafka 源码阅读:00. 阅读大纲与学习路线
Apache Kafka 源码阅读系列大纲。从 Scala 到 Java,从 ZK 到 KRaft,深入剖析消息系统的王者。
- 2 min read Kafka 源码解读
Kafka 源码阅读:01. 环境搭建与源码编译
Kafka 3.x 源码编译环境搭建(JDK 11+ / Gradle / Scala)全流程:源码获取、IDEA 导入、可运行 Demo 调试配置。
- 2 min read Kafka 源码解读
Kafka 源码阅读:02. 架构概览
Kafka 核心架构总览:Topic / Partition / Offset 逻辑模型、Broker / Controller / Coordinator 物理角色、消息生产消费全链路。
- 2 min read Kafka 源码解读
Kafka 源码阅读:03. Producer 初始化与 Metadata 更新
Kafka Producer 初始化与 Metadata 更新源码解析:Partitioner 分区策略、RecordAccumulator 缓冲、Sender 线程与 NetworkClient 协作。
- 2 min read Kafka 源码解读
Kafka 源码阅读:04. RecordAccumulator
Kafka RecordAccumulator 源码解析:ProducerBatch 合并、BufferPool 内存池复用、双端队列与 CopyOnWriteMap 的高吞吐设计。
- 2 min read Kafka 源码解读
Kafka 源码阅读:05. Sender 线程
Kafka Sender 线程源码解析:drain 提取批次、按 Node 分组、createClientRequests 构建 ProduceRequest、NetworkClient 发送全流程。
- 2 min read Kafka 源码解读
Kafka 源码阅读:06. 网络层设计
Kafka Broker 网络层源码解析:基于 Java NIO 的 Reactor 多线程模型、SocketServer / Acceptor / Processor / RequestChannel 协作。
- 2 min read Kafka 源码解读
Kafka 源码阅读:07. 日志存储 (Log Storage)
Kafka 日志存储源码解析:LogSegment 切分、稀疏索引、磁盘顺序写、零拷贝 sendfile 与 MMAP 的高吞吐实现。
- 3 min read Kafka 源码解读
Kafka 源码阅读:08. 延时操作 (Purgatory)
Kafka Purgatory 延时任务源码解析:Hierarchical Timing Wheels + Watcher List 实现 O(1) 延时请求管理,支撑 acks=all 等异步场景。
- 2 min read Kafka 源码解读
Kafka 源码阅读:09. 传统 Controller
Kafka 传统 Controller 源码解析:基于 ZooKeeper 的选举机制、Partition 状态机、Leader 选举与集群元数据管理。
- 2 min read Kafka 源码解读
Kafka 源码阅读:10. KRaft 共识协议
Kafka KRaft 共识协议源码解析:Controller Quorum + Metadata Log 取代 ZooKeeper、RaftClient 与 QuorumController 实现。
- 2 min read Kafka 源码解读
Kafka 源码阅读:11. GroupCoordinator
Kafka GroupCoordinator 源码解析:消费者组协调者的定位算法、状态机(Empty / PreparingRebalance / Stable)与心跳管理。
- 2 min read Kafka 源码解读
Kafka 源码阅读:12. Rebalance 机制
Kafka Rebalance 机制源码解析:触发条件(Join/Leave/Heartbeat/PartitionChange)、JoinGroup 与 SyncGroup 两阶段流程。
- 2 min read Kafka 源码解读
Kafka 源码阅读:13. Fetcher
Kafka Fetcher 源码解析:Consumer 主动拉取模式、sendFetches 构建 FetchRequest、handleFetchResponse 缓存与返回。
- 2 min read Kafka 源码解读
Kafka 源码阅读:14. 副本同步机制
Kafka 副本同步机制源码解析:ReplicaFetcherThread、Leader/Follower LEO 与 HW 更新、ISR 维护与数据一致性。
- 2 min read Kafka 源码解读
Kafka 源码阅读:15. 事务 (Transaction)
Kafka 事务源码解析:TransactionalId、Transaction Coordinator、Transaction Log、2PC 提交与 Exactly Once Semantics 实现。
- 14 min read Kafka 源码解读
Kafka 源码的十年:不变的核心与读源码的方法
对比 2017 年的 Kafka 0.10 与今天的 4.x:消息格式、控制器、再均衡协议都换过两轮,但三条核心不变量——offset 是序号、高水位是 ISR 内最小 LEO、顺序靠队列而不是 TCP——一个字都没变。顺带给出 Kafka 与 PacificA 在副本落后时的路线差异,以及读源码的三个抓手。