#HBase
19 篇文章
相关文章
- 15 min read 日志
基于 Filebeat、Kafka、Flink、ES、ClickHouse、HBase 的日志系统建设
日志系统全链路实战:Filebeat → Kafka → Flink → Elasticsearch / ClickHouse / HBase 多存储后端对比与架构。
- 2 min read HBase 源码解读
HBase 源码阅读:00. 阅读大纲与学习路线
Apache HBase 源码阅读系列大纲。从 Master 启动到 RegionServer 读写,从 LSM Tree 到 WAL 机制,全链路源码解析。
- 2 min read HBase 源码解读
HBase 源码阅读:01. 源码编译与环境搭建
HBase 源码阅读环境搭建:JDK 11+ / Maven 3.6+ / Hadoop 3.x,从源码获取到 IDEA 单机调试的完整流程与常见坑。
- 3 min read HBase 源码解读
HBase 源码阅读:02. 项目结构概览
梳理 HBase 多模块 Maven 项目结构,逐个解读 hbase-common、hbase-server、hbase-client 等核心模块的职责、关键类与依赖关系。
- 2 min read HBase 源码解读
HBase 源码阅读:03. Master 启动流程
解析 HMaster 启动入口、HMasterCommandLine 参数解析、Master 与 RegionServer 的继承关系,以及启动后的核心线程组与 Procedure 状态机初始化。
- 2 min read HBase 源码解读
HBase 源码阅读:04. RegionServer 启动流程
HBase RegionServer 启动流程源码解析:HRegionServer 构造、RPC 服务初始化、与 ZK 的 Session 协商、WAL 与 Cache 预热。
- 3 min read HBase 源码解读
HBase 源码阅读:05. RPC 通信机制
HBase RPC 机制源码解析:Protobuf 接口定义、Connection 复用、CallQueue 优先级队列、错误重试与超时控制。
- 3 min read HBase 源码解读
HBase 源码阅读:06. ZooKeeper 协调机制
HBase 与 ZooKeeper 协调源码解析:ZKWatcher 注册机制、Master/RegionServer Session 管理、临时节点监听与故障检测。
- 2 min read HBase 源码解读
HBase 源码阅读:07. Meta 表管理
HBase Meta 表源码解析:hbase:meta 表结构、Region 位置信息的存储与读取、客户端 Meta Cache 与服务器端协同。
- 2 min read HBase 源码解读
HBase 源码阅读:08. 读流程详解 (Read Path)
HBase 读路径源码解析:客户端 Scan/Get → RPC → RegionScanner → StoreScanner → MemStore/HFile 全链路追踪。
- 2 min read HBase 源码解读
HBase 源码阅读:09. 写流程详解 (Write Path)
HBase 写路径源码解析:Put → WAL append → MemStore 写入 → 异步 flush,附 ACID 保证与 RowLock 实现。
- 2 min read HBase 源码解读
HBase 源码阅读:10. WAL 机制
HBase WAL(Write-Ahead Log)机制源码解析:WAL 类层级、logSync 策略、replay 恢复流程、组提交与性能权衡。
- 7 min read HBase 源码解读
HBase 源码阅读:11. Flush 机制
HBase MemStore Flush 机制源码解析:Flush 触发条件、FlushQuorum 决策、快照生成与 HFile 写入流程。
- 3 min read HBase 源码解读
HBase 源码阅读:12. Compaction 原理
HBase Compaction 机制源码解析:Minor / Major Compaction 触发策略、合并选择算法、Compactor 线程池调度。
- 2 min read HBase 源码解读
HBase 源码阅读:13. HFile 格式解析
HBase HFile 文件格式源码解析:Trailer / LoadOnOpen / Data / Meta / Index block 结构、稀疏索引与布隆过滤器。
- 3 min read HBase 源码解读
HBase 源码阅读:14. BlockCache 缓存
HBase BlockCache 源码解析:LRU / Slab / BucketCache 三种实现对比、命中率调优与堆外内存配置。
- 2 min read HBase 源码解读
HBase 源码阅读:15. Region 切分 (Split)
HBase Region Split 源码解析:SplitPolicy 策略族、splits 计算、daughter region 创建与父 region 原子关闭。
- 2 min read HBase 源码解读
HBase 源码阅读:16. 负载均衡 (Assignment & Balancer)
HBase Region 分配机制源码解析:AssignmentManager 状态机、RegionTransition 事件、批量 assign/unassign 流程。
- 2 min read HBase 源码解读
HBase 源码阅读:17. 复制机制 (Replication)
HBase Replication 源码解析:跨集群异步复制、ReplicationSource 读取 WAL、ReplicationSink 应用与冲突解决。