跳到主要内容
目录

HBase 源码阅读:13. HFile 格式解析

0. 本章定位

HBase 源码阅读:13. HFile 格式解析:本文为源码阅读系列的一部分,假设读者已掌握对应中间件的基本概念与 Java 并发编程。建议先在本地搭建环境,再跟着章节顺序逐节 Debug,不要一次性读完——Flink / Kafka / HBase 等系统的状态机跨多个类,单纯阅读很难形成肌肉记忆。

实战建议

读源码时建议配合官方文档 + 单测用例 + 实际日志三件套:单测展示 happy path,日志展示异常路径,文档提供整体架构。生产环境遇到问题,回到对应章节能节省大量调试时间。

HFile 是 HBase 存储数据的物理格式,借鉴了 SSTable 的设计。目前主流是 HFile V3。

1. 逻辑结构

HFile 从逻辑上由一系列 Block 组成,文件尾部是 Trailer。

[ Data Block 1 ]
[ Data Block 2 ]
...
[ Leaf Index Block ]
[ Bloom Filter Block ]
[ Meta Block ]
[ File Info ]
[ Trailer ]

2. Data Block (数据块)

存储实际的 KeyValue 数据。默认大小 64KB (hbase.mapreduce.hfileoutputformat.blocksize)。

  • Magic: Header。
  • KeyValue: 紧凑排列的 KV。为了压缩,Key 的一部分可能会被省略(Prefix Encoding)。

3. Index Block (索引块)

为了快速定位 RowKey 在哪个 Data Block 中。

  • Multi-Level Index: 如果索引块太多,会建立多级索引(Root Index -> Leaf Index)。
  • 索引内容:Block Offset + Start Key。

4. Bloom Filter Block

  • Row Bloom: 判断 RowKey 是否存在。
  • RowCol Bloom: 判断 RowKey + Column Family + Qualifier 是否存在。
  • 极大地减少了不必要的 Block 读取。

5. Trailer

  • 定长,存储了 File Info 的偏移量、Data Index 的偏移量等核心指针。
  • 读取 HFile 时,首先读取 Trailer。

Next: HBase 源码阅读:14. BlockCache 缓存

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持