跳到主要内容
目录

Kafka 源码阅读:13. Fetcher

0. 本章定位

Kafka 源码阅读:13. Fetcher:本文为源码阅读系列的一部分,假设读者已掌握对应中间件的基本概念与 Java 并发编程。建议先在本地搭建环境,再跟着章节顺序逐节 Debug,不要一次性读完——Flink / Kafka / HBase 等系统的状态机跨多个类,单纯阅读很难形成肌肉记忆。

实战建议

读源码时建议配合官方文档 + 单测用例 + 实际日志三件套:单测展示 happy path,日志展示异常路径,文档提供整体架构。生产环境遇到问题,回到对应章节能节省大量调试时间。

Consumer 并不是被动接收消息,而是主动拉取 (poll)。

Fetcher 是 Consumer 主动拉取消息的核心组件,理解其 FetchRequest / FetchResponse 协议对调优消费性能至关重要。

生产中遇到 Consumer 延迟突增,先看 FetchRequest 大小与 FetchMinBytes 配置,理解数据从 Broker 到 Client 的完整链路。

建议先在测试集群跑一次 consumer 消费延迟异常的复现,再回到源码定位 Fetcher 主循环。

1. 核心流程

  1. sendFetches: 遍历分配给自己的 Partition,构建 FetchRequest。
    • 并不是每次 poll 都发请求,而是检查本地缓存 (completedFetches) 是否有数据。
  2. NetworkClient.poll: 发送请求,接收响应。
  3. handleFetchResponse: 解析响应,将 RecordBatch 解析出来,放入 completedFetches 队列。
  4. return: poll() 方法从队列取出记录返回给用户。

2. 优化

  • Max Poll Records: 限制一次返回的条数。
  • Fetch Min Bytes: 攒够多少数据才返回(长轮询)。
  • Fetch Max Wait: 最长等待时间。

Next: Kafka 源码阅读:14. 副本同步机制

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持