单机为什么慢,答案常常不在 CPU:它很少是瓶颈,等数据才是。
一次加法指令可能在一个周期内完成,但取这个操作数要经过 TLB 翻译、可能触发 page walk、再去某个缓存层级找数据。真正决定程序快慢的,是这三件事各发生了几次。
这篇文章按三条路径把成本算清楚:少搬数据、别干等、别互踩。它们最后都收敛到同一个测量点。
这是《系统设计的三层》的第一层深挖,只讲单机内部;上面还有共享状态和跨机器协作两层。
一、取一个字节的真实代价
程序访问的是虚拟地址,硬件通过页表翻译成物理地址。这个翻译有三档成本,差距大到可以决定整个程序的性能特征:
| 档位 | 机制 | 代价 | 触发条件 |
|---|---|---|---|
| 最快 | TLB 命中 | 约 1 周期 | 页表项在 TLB 里 |
| 中档 | 页表遍历 | 约 10–100 周期 | TLB 未命中,页表项在内存 |
| 最慢 | 缺页处理 | 约百万周期,可能伴随同步磁盘 I/O | 物理页不在内存 |
三档之间不是「慢一点」,是三个数量级。
TLB 本身就是个缓存——有容量、有命中率、有替换策略。所以「页表、TLB」和后面要讲的「缓存与局部性」是同一个问题的两次出现:局部性好,TLB 命中率高,地址翻译就快。
缺页是同步的。一旦触发,进程被阻塞,OS 去磁盘取页。工作集大于物理内存时缺页率飙升,吞吐量断崖下跌,这就是颠簸(thrashing)。
大页是一次翻译覆盖 2MB 而不是 4KB,TLB 项数量直接减少 512 倍,代价是内部碎片。它是「减少数据访问成本」这个方向上最典型的杠杆。
二、命中率比绝对延迟更重要
局部性原理是所有缓存的地基:时间局部性(刚访问的还会再访问)与空间局部性(访问了一个地址,附近的也会被访问)。
真正要盯的是这三个量:
| 指标 | 工程含义 |
|---|---|
| 命中率 | 命中率 99% 的缓存,命中成本按 1 算、未命中按 100 算,摊薄后约 2——命中率决定一切 |
| 缓存行 | 一次读写的最小粒度通常是 64 字节,访问 1 字节也要搬 64 字节 |
| 替换策略 | LRU / LFU / ARC / CLOCK;直接映射加 LRU 遇到循环扫描会出现缓存颠簸 |
缓存行带来一个经典陷阱:伪共享(false sharing)。两个线程分别修改同一缓存行里的不同变量,缓存行在核间反复弹跳,性能可能掉十倍以上。变量逻辑上互不相干,物理上却共享同一条缓存行——这就是「内存布局也是性能设计」的原因。
层级化是缓存的主旋律:L1/L2/L3 → 内存 → 磁盘,每一层都是下一层的缓存,每一层都在做时间、空间、成本的三重权衡。
三、别干等:把等待藏进计算
这一条的核心是让「等待」和「计算」同时发生。
流水线与投机执行。 CPU 把一条指令拆成取指、译码、执行、访存、写回多阶段重叠执行。更激进的是分支预测加投机执行:猜对了保留结果,猜错了撤销未提交的结果。所以投机执行的核心不是「跑得快」,而是为猜错付了代价——回滚流水线本身也是开销。
顺带一个安全副作用:投机执行会访问本来不该访问的内存,这是 Spectre / Meltdown 的根源。现代 CPU 因此必须加推测执行屏障,性能与安全在这里正面冲突。
异步 I/O 与事件循环。 同步模型是「发起 → 阻塞等待 → 返回」,线程在等待期间什么都干不了。异步模型是「发起 → 立即返回 → 数据就绪时回调」,把等待变成事件。
同步: [发起] ────────阻塞等待────────> [返回] 线程被占住
异步: [发起] → [返回] ... [数据就绪] → [回调处理] 线程被释放事件循环是这套模型的运行时载体:OS 通过 epoll / kqueue / IOCP 告知就绪,运行时把事件挂进队列,再唤醒处理线程执行回调。单线程事件循环天然无锁、无上下文切换,但一个慢回调会阻塞全部——这就是为什么 Node.js 里不能做同步重 I/O。
调度策略。 三种主流的取舍很清晰:
| 策略 | 优点 | 缺点 |
|---|---|---|
| 协作式 | 无抢占开销,行为可预测 | 一个不让出的死循环会饿死所有人 |
| 抢占式 | 公平,能抢占死循环 | 有上下文切换开销(约 1–5 微秒) |
| 工作窃取 | 负载自动均衡 | 窃取队列本身有竞争开销 |
调度的核心指标不是吞吐,而是公平加尾延迟——一个请求落在被长任务占住的核上,平均吞吐再好看,尾延迟也会爆表。
四、别互踩:从原子操作到内存序
多个执行流共享资源时,冲突不可避免。手段按成本递增排列:
| 手段 | 保证 | 代价 | 适用 |
|---|---|---|---|
| 原子变量 / CAS | 单个变量读-改-写原子 | 一条 lock cmpxchg,约 20 周期且独占缓存行 | 计数器、标志位、指针更新 |
| 自旋锁 | 互斥进入临界区 | 忙等浪费 CPU,但纳秒级延迟 | 极短临界区、多核 |
| 互斥锁 | 互斥进入临界区 | 阻塞加上下文切换 | 中等临界区 |
| 读写锁 | 多读单写 | 读多写少吞吐高,但写者可能饥饿 | 读多写少 |
| 无锁队列 | 无全局锁,用 CAS 环 | 复杂,有 ABA 问题,内存占用大 | 高并发队列 |
最容易被忽略的是内存序。 多个核各自有缓存,一个核写进去的值什么时候对别人可见?x86 是强序的,ARM / Power 是弱序的,编译器还可能把读写重排。
内存序模型(relaxed / acquire-release / seq_cst)就是用来规定允许重排到什么程度的契约。acquire 配 release 是最常用的组合:release 之前的所有写,对 acquire 之后的所有读可见——这正是「发布-订阅」在内存模型上的严谨写法。
一句话记住:锁只保证互斥,不保证可见性。 没有正确的内存序或原子操作,锁内写的数据依然可能对其他核不可见。
五、有界队列:把无限排队变成显式拒绝
无界队列是延迟雪崩的元凶:
生产者速度 > 消费者速度
→ 队列无限增长 → 内存持续上涨 → GC 压力 / OOM
→ 任务在队列里躺了 30 秒才开始执行
→ 用户看到的是「超时」,而不是「慢」有界队列加背压,把「无限排队」换成「显式拒绝」:
| 策略 | 行为 | 代价 |
|---|---|---|
| 阻塞 | 队列满则生产者等待 | 线程被挂起,可能级联阻塞 |
| 拒绝并降级 | 返回错误或兜底结果 | 调用方必须处理失败 |
| 丢弃 | 丢最旧或丢最新 | 只适用于可丢数据 |
| 信用流控 | 按下游给的额度发送 | 需要下游反馈,但最平滑 |
队列长度上限直接决定了同时在途的任务数,也就是并发度上限。并发度不是越高越好——超过某个点后,缓存失效和锁争用会让吞吐量反而下降。
六、性能测量:只看均值的优化都是玄学
所有分支最后都指向同一件事:测出来才算数。
| 指标 | 为什么必须看 |
|---|---|
| 吞吐量 | 容量上限,优化后涨了才是真的变快 |
| 尾延迟(P99 / P99.9 / P999) | 用户只记得最慢的那次 |
| 队列长度 | 过载的先行指标 |
为什么必须看尾延迟。 100 个请求,99 个 10 毫秒,1 个 5000 毫秒:均值约 60 毫秒看着还行,P99 是 5000 毫秒,用户已经在骂了。均值会把长尾完全抹掉。
为什么队列长度是先行指标。 由 Little’s Law(在途数量 = 到达率 × 停留时间)可以直接推出来:队列长度开始单调上涨时,尾延迟一定已经在恶化,而这时吞吐量数字还很好看——因为在途任务多,吞吐反而高。
测量方法论四条:
- 先定基线,否则无法证明改进有效;
- 区分饱和度与利用率,CPU 80% 通常没问题,100% 才是问题,排队就发生在那一瞬间;
- 压测要压到过载,只测 50% 负载测不出尾延迟;
- 分段观测,把一次请求拆成各阶段耗时,才知道慢在哪一段。
还要注意观测本身的成本:采样率、埋点位置都会扰动被测系统。
缓存层级的量化细节可以参考 Ulrich Drepper 的 What Every Programmer Should Know About Memory,那篇长文把缓存行、伪共享和预取讲得比多数教材细。
七、这一层的前置假设
单机层所有保障都基于一个假设:故障只表现为进程崩溃。
一旦出现「机器不丢盘但进程崩了」,WAL 和检查点这一套才够用;一旦出现「网络上另一个节点拿到的数据比我还旧」,单机层的所有手段都不够了。
这就是为什么要往上走一层:共享状态解决「数据改错了能不能恢复」,跨机器协作解决「别人看到的状态不是最新的」。
进阶阅读
- 上一层:共享状态:并发、崩溃与查找 — 事务、WAL、B+ 树与 LSM 树
- 更上一层:跨机器协作:网络、副本与权限 — 幂等、共识、隔离令牌
- 基础篇:系统设计的三层 — 三层框架的总览与收敛点