跳到主要内容
目录

HBase 源码阅读:17. 复制机制 (Replication)

0. 本章定位

HBase 源码阅读:17. 复制机制 (Replication):本文为源码阅读系列的一部分,假设读者已掌握对应中间件的基本概念与 Java 并发编程。建议先在本地搭建环境,再跟着章节顺序逐节 Debug,不要一次性读完——Flink / Kafka / HBase 等系统的状态机跨多个类,单纯阅读很难形成肌肉记忆。

实战建议

读源码时建议配合官方文档 + 单测用例 + 实际日志三件套:单测展示 happy path,日志展示异常路径,文档提供整体架构。生产环境遇到问题,回到对应章节能节省大量调试时间。

HBase Replication 主要用于主备容灾(Disaster Recovery)。它是基于 WAL 的异步复制。

1. 架构模式

  • Master-Slave: 主推备。
  • Master-Master: 双向复制(需处理冲突)。
  • Cyclic: 环形复制。

2. 核心组件

2.1 ReplicationSource (Producer)

运行在主集群的 RegionServer 上。

  • Log Queue: 监听 WAL 的生成。
  • Shipper Thread: 读取 WAL Entry,过滤掉不需要复制的数据(如只复制某些表),发送给备集群。
  • Checkpoint: 记录复制进度(ZK 中)。

2.2 ReplicationSink (Consumer)

运行在备集群的 RegionServer 上。

  • 接收来自 Source 的 Edit。
  • 使用 HConnection 将 Edit 写入本地 HBase(就像普通的 Client 写入一样)。

3. 关键特性

  • 异步: 也就是最终一致性。主集群写入成功即返回,不等待复制。
  • 串行性: 同一个 Region 的 WAL Edit 必须按顺序复制,保证顺序一致性。
  • 容错: 如果 Source RS 挂了,Master 会将其 Replication Queue 转移给其他 RS 接管。

End: 回到目录

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持