跳到主要内容
目录

HBase 源码阅读:14. BlockCache 缓存

0. 本章定位

HBase 源码阅读:14. BlockCache 缓存:本文为源码阅读系列的一部分,假设读者已掌握对应中间件的基本概念与 Java 并发编程。建议先在本地搭建环境,再跟着章节顺序逐节 Debug,不要一次性读完——Flink / Kafka / HBase 等系统的状态机跨多个类,单纯阅读很难形成肌肉记忆。

实战建议

读源码时建议配合官方文档 + 单测用例 + 实际日志三件套:单测展示 happy path,日志展示异常路径,文档提供整体架构。生产环境遇到问题,回到对应章节能节省大量调试时间。

为了加速读取,HBase 在内存中缓存了热点 Data Block。

1. 缓存策略

HBase 提供了多种 BlockCache 实现,目前默认是混合使用的策略。

1.1 LruBlockCache (On-Heap)

  • 原理: 基于 Java Heap 的 LRU 缓存。
  • 分层:
    • Single: 第一次访问的 Block(25%)。
    • Multi: 被访问多次的 Block(50%)。
    • Memory: 常驻内存(如 Meta 表)(25%)。
  • 缺点: 受限于 JVM GC,堆内存太大容易导致 Full GC 时间过长。

1.2 BucketCache (Off-Heap)

  • 原理: 使用堆外内存(Direct Memory)或文件存储。
  • 内存管理: 自己管理内存块的分配和回收,避免 GC 影响。
  • Bucket: 内存被划分为不同大小的 Bucket(如 4K, 8K, 64K…),Block 放入最接近其大小的 Bucket 中。

2. 组合模式 (CombinedBlockCache)

通常配置为:

  • L1 Cache: LruBlockCache (存放 Index Block 和 Bloom Filter)。因为这些元数据较小且访问频繁。
  • L2 Cache: BucketCache (存放 Data Block)。存放实际数据,利用堆外大内存。

3. 缓存读取流程

  1. Client 请求读取某一行。
  2. 定位到对应的 HFile。
  3. 检查 BlockCache 是否有对应的 Data Block。
    • Hit: 直接返回,无需 IO。
    • Miss: 从 HDFS 读取 Block,解压,放入 BlockCache,返回。

Next: HBase 源码阅读:15. Region 切分 (Split)

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持