9节点Inference Engineering路线图，涵盖算力/显存/量化/KV Cache/优化/引擎/MoE/路由全链路，配中文工程视角。

9节点路线图上篇，涵盖Compute&Memory/Quantization/KV Cache三大地基概念，配中文工程视角与国内大厂案例。

9节点路线图中篇，涵盖Inference Optimization五大武器、LLM Serving Engines选型矩阵、Prefill与Decode双SLO拆解。

9节点路线图下篇，涵盖MoE vs Dense选型、LLM路由三大策略、端到端推理7层链路，附4周实操路径与速览对照表。

KV Cache三步曲上篇，Part 1-3：LLM生成token机制、Q新K/V复用本质、O(n²)冗余的量化分析，含Mermaid数据流图。

KV Cache三步曲中篇：K/V缓存4步流程（算一次存重复读）、Prefill与Decode双SLO、TTFT与TPOT算力对比。

KV Cache三步曲下篇：Qwen-72B 32K单请求80GB显存算账，附GQA/PagedAttention/SpecDecoding/PrefixCache五大救兵技术与代码。

Paged Attention 是 vLLM 的核心发明——借鉴 OS 虚拟内存思想，把 KV cache 切成定长 block，显存浪费从 60-80% 降到 <4%，吞吐提升 2-3 倍。本文翻译 Hamza El-Shafie 长文并补充中文工程视角。

Paged Attention 三件套：block table（逻辑→物理映射）+ KV cache manager（free pool）+ paged attention kernel。vLLM 如何把显存浪费从 60-80% 降到 <4%，吞吐提升 2-3 倍，本文给出完整数据复现。

Paged Attention 解决了分配问题，KV 体积问题需要 MQA/GQA/MLA/GTA/GLA 五种压缩机制；配套的 Continuous Batching、Speculative Decoding、Quantisation 组成完整推理优化拼图。本文是下篇，附国内大厂真实案例。

Guided Decoding 通过 DFA → Token Mask → Logits 三步，对 LLM 每步生成的 token 候选集做约束，保证输出 100% 符合 JSON Schema / Regex 等语法规则。不用 guided decoding，复杂 schema 下 Agent 正确率可低至 61%。

SqueezeBits 原始 benchmark 完整复现：Book-Info（重复 schema）、GitHub_easy（动态简单）、GitHub_medium（动态复杂）三场景下 XGrammar × LLGuidance × vLLM × SGLang 的吞吐、TPOT、correct rate 数据全面对比。

3 条 if-then 工程师级选型规则：重复 schema → XGrammar + SGLang；动态 schema → LLGuidance + SGLang；Framework → 永远选 SGLang。附 DeepSeek / 通义千问国内案例与可直接抄的 checklist。

为什么 GPT-3 在单卡 A100 上要跑 355 年？70B 模型 Adam + FP32 master = 16Ψ bytes 静态显存,A100 80GB 装不下。本文翻译 Suman Debnath 长文,推导单卡账本 + 三件省钱武器(gradient checkpointing / accumulation / mixed precision)。

上篇三件套能省钱但不能把 70B 塞进单卡——当模型本身就已经装不下时，必须把模型本身分布到多张卡上。Data Parallel 的本质 / 三个通信原语（All-Reduce / All-Gather / Reduce-Scatter）/ ZeRO-1/2/3 的递进逻辑和显存公式。

中篇讲了 ZeRO-3/FSDP 的原理——这一篇讲怎么用 5 个 API 把它跑起来。Ray Train 是分布式训练的操作系统层：屏蔽了 torchrun、进程管理、故障恢复、checkpoint 调度这些脏活累活，让工程师专注模型和训练逻辑本身。

ChatGPT 能听懂指令而 GPT-3 只会续写——从续写到听话的鸿沟就是 Post-Training 要填的坑。本篇聚焦 SFT 全景：数据/Loss/Batch 三件套，配国内大厂案例，讲透 SFT 数据质量大于一切的工程真理。

SFT 教模型怎么回答，RL 教模型回答得更好——但更好需要一个定义。RLHF/RLAIF/RLVR/PRM/Rubric-guided 五族各有适用边界。Bradley-Terry 把谁更好变成可微 loss，KL 正则化防止刷奖励分而跑偏。

SFT 是基础，RL 是升华——但用哪种 RL 算法决定了你是在安全调优还是极限拔高。PPO/GRPO/REINFORCE/DPO 四种算法有明确 if-then 选型边界。Auto Eval/LLM Judge/Human Eval 三种评估手段各有适用场景。附 DeepSeek R1/V3 后训练演进脉络。