跳到主要内容
目录

跨机器协作:网络会骗你

跨机器协作的第一课是接受一件事:网络只提供尽力而为的语义。

消息可能延迟、丢失、重复、乱序。你无法从「没收到回复」推断出「对方没收到请求」,也无法从「对方执行成功」推断出「你知道了」。所有分布式系统的复杂度,起点都在这个不对称上。

这是《系统设计的三层》的第三层深挖。它的下一层是共享状态,最底层是执行与性能。

一、超时不等于失败

三个必备机制,缺一个都会出事:

机制做什么不做会怎样
超时设定等待上限一个请求卡住,线程池被耗尽
重试失败后再试瞬时故障直接变永久失败
退避重试间隔指数增长加抖动重试风暴,把刚恢复的服务再打死

指数退避必须配抖动:

第 n 次重试等待 = random(0, min(cap, base × 2^n))
                        ↑ 抖动是必需的

没有抖动,所有客户端的重试时刻会一直对齐,形成同步脉冲——服务刚恢复就被同一波重试再次打垮。

二、幂等:at-least-once 加幂等等于 effectively-once

真正的麻烦在重试之后:客户端发出请求,服务端执行成功,响应在网络上丢了,客户端超时重试,服务端又执行一遍。

根本原因是:「请求已送达并执行」和「响应已送达」是两个独立的事实。 重试让第一个事实发生了两次。

最可靠的解法是幂等键:

客户端生成唯一 request_id(业务语义键,不要纯随机),每次重试都带同一个

服务端维护 request_id → 执行结果
  收到请求:
    if request_id 已在表中: return 缓存的结果(不重新执行)
    else: 执行 → 记录 request_id → result → return

四个设计要点,漏一个就失效:

  • 键的粒度绑定业务语义。用 user_id + order_id 而不是纯随机 UUID,随机的键在客户端重试时重新生成就没用了;
  • 结果要缓存并返回,返回错误会让客户端一直重试;
  • 要设 TTL,否则缓存表无限增长;
  • 必须与写操作在同一事务里落库,否则「执行成功但键没记上」,重试照样重复执行。

另一条路是让操作天然幂等:用「设置成目标状态」而不是「增量修改」。balance = 100 幂等,balance -= 50 不幂等。数据库层面再加唯一约束兜底。

exactly-once 的真相:端到端严格一次几乎不可能实现。工程上能做到的是 at-least-once 投递加幂等处理,也就是 effectively-once 的效果。

三、Raft:把「谁决定顺序」收敛成单点

共识算法解决的是另一类问题:多个副本怎么对「日志顺序」达成一致。

三个核心概念:

概念含义作用
领导者唯一接受客户端写请求的节点把「谁决定写入顺序」收敛为单点
任期单调递增的逻辑时钟,每次选举加一检测过期 leader
法定人数⌊N/2⌋+1 个节点多数派才可能提交

多数派为什么有效,用一个 5 节点集群就能讲清楚:

N=5,允许 2 个节点故障
提交一个日志项需要 3 个节点持久化
任意两个 3 节点多数派必然至少共享 1 个节点
          ↓
那个共享节点不可能同时确认两个不同的日志项
          ↓
所以一旦提交,新的 Leader 一定包含已提交的日志项,状态不会倒退

Raft 把问题拆成三块:领导者选举(每任期最多一票)、日志复制(多数派持久化后才提交)、安全性(日志匹配性质保证已提交日志不被覆盖)。

四、共识不等于线性一致

这是最容易被跳过的一条:共识只保证日志顺序一致,不保证读写语义符合直觉。

Leader 刚提交写 W1 并返回成功
此时 Leader 还没把 W1 复制完就挂了,新 Leader 产生
如果新 Leader 不知道 W1,客户端随后读到的就是旧值
→ 客户端看到「我刚写完,读出来却没有」

这是「已提交的定义」问题,不是 Raft 的 bug。要把「顺序一致」升级成「线性一致」,还需要读写协议:

协议做法代价
ReadIndexLeader 确认自己仍是 Leader 且已提交到本任期,然后不写日志直接读本地一次心跳往返
Lease Read在短租约期内保证自己是唯一 Leader,直接读依赖时钟假设
读也走日志读请求也写日志并等多数派确认最简单最安全,吞吐代价最大

一致性谱系从强到弱是:线性一致(读必见最新写)→ 顺序一致(顺序相同但不保证最新)→ 因果一致 → 最终一致。越强越贵,不是所有业务都需要线性一致。

五、乱序与迟到:序号、版本、任期

副本会乱。乱序的来源很多:网络延迟不确定、节点处理速度不同、重试包晚于新请求、跨机房链路差异。

如果副本简单地「最后到达的写入覆盖一切」,旧版本会覆盖新版本,数据永久倒退。

解法是给每次写入带一个可比较的逻辑标识,接收端只接受比当前版本新的写入:

副本状态: version = 5
收到 v=7 → 接受,version = 7
收到 v=3 → 丢弃(过期)
收到 v=5 → 丢弃(幂等,已处理)

三种标识各管一件事,不能互相替代:

标识回答的问题
任期 / Epoch这条指令来自哪一任 Leader
序号同一 Leader 发的指令谁先谁后
版本号这份数据本身是第几版

用墙上时钟代替逻辑序号是经典错误——分布式环境下时钟会漂移、会回拨、NTP 会跳变。

六、分片迁移:同一份数据存在两处的窗口

分片把数据水平拆到多个节点。一致性哈希让节点增减时只影响相邻环上的数据,虚拟节点解决负载倾斜,分片键选不好会造成热点分片。

真正难的是迁移:迁移期间同一份数据同时存在于旧分片 A 和新分片 B。这时写入该走 A 还是 B?读该从哪边读?迁到一半崩了怎么办?

通用解法是「版本加归属标记」:迁移开始时给目标分片打上新版本或新归属标记,所有写入带版本号,接收端按版本号裁决这份数据归谁管,读请求用版本号路由,旧分片发现版本比自己新时主动转发并删除本地副本。

七、租约与隔离令牌:校验必须在存储端

分布式锁最经典的失效场景:

T0: 客户端 A 获得锁(租约 30 秒)
T1: A 因 GC 停顿或网络分区卡住 40 秒
T2: 租约过期,客户端 B 获得锁开始写入
T3: A 恢复过来,它不知道租约已过期,继续写入  ← 两个持有者同时写

根因是:分布式世界里无法区分「我还持有锁」和「我只是延迟了」。

解法是隔离令牌(fencing token):获取锁时存储服务返回单调递增的 token,A 拿到 42,B 后来拿到 43,写入必须携带 token,存储服务校验——请求 token 小于当前记录值就拒绝。

关键点只有一个:校验必须在存储服务端做。客户端自己判断 token 有没有过期是没用的,因为它可能正在分区中。

八、收敛点:一个原语解决三个问题

把这一层的分支放在一起看,会浮出一个很干净的结论。

分支遇到的问题机制
通信不确定旧请求迟到、旧 Leader 下发指令比较逻辑标识,拒绝过期写入
多副本状态乱序、迟到、迁移中双份数据同上
资源与权限边界租约过期后旧持有者写入同上(隔离令牌)

一切写入都携带一个可比较的逻辑标识,接收端拒绝任何不比当前标识新的写入。 Raft 的任期、数据库的版本号、分布式锁的隔离令牌,本质上是同一个东西。

剩下两件事不属于这个原语,但同样必须有:认证与授权(你是谁、你能做什么,租户隔离必须在查询层强制)、限流背压与故障隔离(入口限流、中间背压、全局舱壁与熔断)。

熔断器三态值得单独记一下:

CLOSED(正常)──错误率超阈值──> OPEN(快速失败)──冷却时间到──> HALF_OPEN(试探)
                                    ↑                              │
                                    └──────── 试探成功 ─────────────┘
                                              试探失败 → 回到 OPEN

因为级联故障是最致命的失效模式:A 变慢导致调用方线程池被占满,调用方也变慢,它的调用方同样被占满,全链路雪崩。舱壁隔离(每个依赖独立线程池或连接池)是唯一有效的防线。

Raft 的原始描述和可视化演示在 raft.github.io,比读论文更容易建立直觉;分布式系统整体的可靠性讨论同样可以参考 Designing Data-Intensive Applications。

进阶阅读

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持