跳到主要内容
目录

单机为什么慢:执行与性能层

单机为什么慢,答案常常不在 CPU:它很少是瓶颈,等数据才是。

一次加法指令可能在一个周期内完成,但取这个操作数要经过 TLB 翻译、可能触发 page walk、再去某个缓存层级找数据。真正决定程序快慢的,是这三件事各发生了几次。

这篇文章按三条路径把成本算清楚:少搬数据、别干等、别互踩。它们最后都收敛到同一个测量点。

这是《系统设计的三层》的第一层深挖,只讲单机内部;上面还有共享状态和跨机器协作两层。

一、取一个字节的真实代价

程序访问的是虚拟地址,硬件通过页表翻译成物理地址。这个翻译有三档成本,差距大到可以决定整个程序的性能特征:

档位机制代价触发条件
最快TLB 命中约 1 周期页表项在 TLB 里
中档页表遍历约 10–100 周期TLB 未命中,页表项在内存
最慢缺页处理约百万周期,可能伴随同步磁盘 I/O物理页不在内存

三档之间不是「慢一点」,是三个数量级。

TLB 本身就是个缓存——有容量、有命中率、有替换策略。所以「页表、TLB」和后面要讲的「缓存与局部性」是同一个问题的两次出现:局部性好,TLB 命中率高,地址翻译就快。

缺页是同步的。一旦触发,进程被阻塞,OS 去磁盘取页。工作集大于物理内存时缺页率飙升,吞吐量断崖下跌,这就是颠簸(thrashing)。

大页是一次翻译覆盖 2MB 而不是 4KB,TLB 项数量直接减少 512 倍,代价是内部碎片。它是「减少数据访问成本」这个方向上最典型的杠杆。

二、命中率比绝对延迟更重要

局部性原理是所有缓存的地基:时间局部性(刚访问的还会再访问)与空间局部性(访问了一个地址,附近的也会被访问)。

真正要盯的是这三个量:

指标工程含义
命中率命中率 99% 的缓存,命中成本按 1 算、未命中按 100 算,摊薄后约 2——命中率决定一切
缓存行一次读写的最小粒度通常是 64 字节,访问 1 字节也要搬 64 字节
替换策略LRU / LFU / ARC / CLOCK;直接映射加 LRU 遇到循环扫描会出现缓存颠簸

缓存行带来一个经典陷阱:伪共享(false sharing)。两个线程分别修改同一缓存行里的不同变量,缓存行在核间反复弹跳,性能可能掉十倍以上。变量逻辑上互不相干,物理上却共享同一条缓存行——这就是「内存布局也是性能设计」的原因。

层级化是缓存的主旋律:L1/L2/L3 → 内存 → 磁盘,每一层都是下一层的缓存,每一层都在做时间、空间、成本的三重权衡。

三、别干等:把等待藏进计算

这一条的核心是让「等待」和「计算」同时发生。

流水线与投机执行。 CPU 把一条指令拆成取指、译码、执行、访存、写回多阶段重叠执行。更激进的是分支预测加投机执行:猜对了保留结果,猜错了撤销未提交的结果。所以投机执行的核心不是「跑得快」,而是为猜错付了代价——回滚流水线本身也是开销。

顺带一个安全副作用:投机执行会访问本来不该访问的内存,这是 Spectre / Meltdown 的根源。现代 CPU 因此必须加推测执行屏障,性能与安全在这里正面冲突。

异步 I/O 与事件循环。 同步模型是「发起 → 阻塞等待 → 返回」,线程在等待期间什么都干不了。异步模型是「发起 → 立即返回 → 数据就绪时回调」,把等待变成事件。

同步:  [发起] ────────阻塞等待────────> [返回]     线程被占住
异步:  [发起] → [返回] ... [数据就绪] → [回调处理]  线程被释放

事件循环是这套模型的运行时载体:OS 通过 epoll / kqueue / IOCP 告知就绪,运行时把事件挂进队列,再唤醒处理线程执行回调。单线程事件循环天然无锁、无上下文切换,但一个慢回调会阻塞全部——这就是为什么 Node.js 里不能做同步重 I/O。

调度策略。 三种主流的取舍很清晰:

策略优点缺点
协作式无抢占开销,行为可预测一个不让出的死循环会饿死所有人
抢占式公平,能抢占死循环有上下文切换开销(约 1–5 微秒)
工作窃取负载自动均衡窃取队列本身有竞争开销

调度的核心指标不是吞吐,而是公平加尾延迟——一个请求落在被长任务占住的核上,平均吞吐再好看,尾延迟也会爆表。

四、别互踩:从原子操作到内存序

多个执行流共享资源时,冲突不可避免。手段按成本递增排列:

手段保证代价适用
原子变量 / CAS单个变量读-改-写原子一条 lock cmpxchg,约 20 周期且独占缓存行计数器、标志位、指针更新
自旋锁互斥进入临界区忙等浪费 CPU,但纳秒级延迟极短临界区、多核
互斥锁互斥进入临界区阻塞加上下文切换中等临界区
读写锁多读单写读多写少吞吐高,但写者可能饥饿读多写少
无锁队列无全局锁,用 CAS 环复杂,有 ABA 问题,内存占用大高并发队列

最容易被忽略的是内存序。 多个核各自有缓存,一个核写进去的值什么时候对别人可见?x86 是强序的,ARM / Power 是弱序的,编译器还可能把读写重排。

内存序模型(relaxed / acquire-release / seq_cst)就是用来规定允许重排到什么程度的契约。acquire 配 release 是最常用的组合:release 之前的所有写,对 acquire 之后的所有读可见——这正是「发布-订阅」在内存模型上的严谨写法。

一句话记住:锁只保证互斥,不保证可见性。 没有正确的内存序或原子操作,锁内写的数据依然可能对其他核不可见。

五、有界队列:把无限排队变成显式拒绝

无界队列是延迟雪崩的元凶:

生产者速度 > 消费者速度
  → 队列无限增长 → 内存持续上涨 → GC 压力 / OOM
  → 任务在队列里躺了 30 秒才开始执行
  → 用户看到的是「超时」,而不是「慢」

有界队列加背压,把「无限排队」换成「显式拒绝」:

策略行为代价
阻塞队列满则生产者等待线程被挂起,可能级联阻塞
拒绝并降级返回错误或兜底结果调用方必须处理失败
丢弃丢最旧或丢最新只适用于可丢数据
信用流控按下游给的额度发送需要下游反馈,但最平滑

队列长度上限直接决定了同时在途的任务数,也就是并发度上限。并发度不是越高越好——超过某个点后,缓存失效和锁争用会让吞吐量反而下降。

六、性能测量:只看均值的优化都是玄学

所有分支最后都指向同一件事:测出来才算数。

指标为什么必须看
吞吐量容量上限,优化后涨了才是真的变快
尾延迟(P99 / P99.9 / P999)用户只记得最慢的那次
队列长度过载的先行指标

为什么必须看尾延迟。 100 个请求,99 个 10 毫秒,1 个 5000 毫秒:均值约 60 毫秒看着还行,P99 是 5000 毫秒,用户已经在骂了。均值会把长尾完全抹掉。

为什么队列长度是先行指标。 由 Little’s Law(在途数量 = 到达率 × 停留时间)可以直接推出来:队列长度开始单调上涨时,尾延迟一定已经在恶化,而这时吞吐量数字还很好看——因为在途任务多,吞吐反而高。

测量方法论四条:

  1. 先定基线,否则无法证明改进有效;
  2. 区分饱和度与利用率,CPU 80% 通常没问题,100% 才是问题,排队就发生在那一瞬间;
  3. 压测要压到过载,只测 50% 负载测不出尾延迟;
  4. 分段观测,把一次请求拆成各阶段耗时,才知道慢在哪一段。

还要注意观测本身的成本:采样率、埋点位置都会扰动被测系统。

缓存层级的量化细节可以参考 Ulrich Drepper 的 What Every Programmer Should Know About Memory,那篇长文把缓存行、伪共享和预取讲得比多数教材细。

七、这一层的前置假设

单机层所有保障都基于一个假设:故障只表现为进程崩溃。

一旦出现「机器不丢盘但进程崩了」,WAL 和检查点这一套才够用;一旦出现「网络上另一个节点拿到的数据比我还旧」,单机层的所有手段都不够了。

这就是为什么要往上走一层:共享状态解决「数据改错了能不能恢复」,跨机器协作解决「别人看到的状态不是最新的」。

进阶阅读

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持

赞赏

如果这篇文章帮到了你,欢迎请我喝杯咖啡。

  • 微信赞赏二维码,用微信扫一扫

    微信支付

  • 支付宝赞赏二维码,用支付宝扫一扫

    支付宝

金额随意,感谢支持