0. 本章定位
Kafka 源码阅读:13. Fetcher:本文为源码阅读系列的一部分,假设读者已掌握对应中间件的基本概念与 Java 并发编程。建议先在本地搭建环境,再跟着章节顺序逐节 Debug,不要一次性读完——Flink / Kafka / HBase 等系统的状态机跨多个类,单纯阅读很难形成肌肉记忆。
实战建议
读源码时建议配合官方文档 + 单测用例 + 实际日志三件套:单测展示 happy path,日志展示异常路径,文档提供整体架构。生产环境遇到问题,回到对应章节能节省大量调试时间。
Consumer 并不是被动接收消息,而是主动拉取 (poll)。
Fetcher 是 Consumer 主动拉取消息的核心组件,理解其 FetchRequest / FetchResponse 协议对调优消费性能至关重要。
生产中遇到 Consumer 延迟突增,先看 FetchRequest 大小与 FetchMinBytes 配置,理解数据从 Broker 到 Client 的完整链路。
建议先在测试集群跑一次 consumer 消费延迟异常的复现,再回到源码定位 Fetcher 主循环。
1. 核心流程
- sendFetches: 遍历分配给自己的 Partition,构建
FetchRequest。- 并不是每次 poll 都发请求,而是检查本地缓存 (
completedFetches) 是否有数据。
- 并不是每次 poll 都发请求,而是检查本地缓存 (
- NetworkClient.poll: 发送请求,接收响应。
- handleFetchResponse: 解析响应,将 RecordBatch 解析出来,放入
completedFetches队列。 - return:
poll()方法从队列取出记录返回给用户。
2. 优化
- Max Poll Records: 限制一次返回的条数。
- Fetch Min Bytes: 攒够多少数据才返回(长轮询)。
- Fetch Max Wait: 最长等待时间。
Next: Kafka 源码阅读:14. 副本同步机制