#vLLM
4 篇文章
相关文章
- 6 min read AI 推理工程
9 步走完 LLM 推理工程(中):怎么让模型跑得快 / 怎么选引擎 / Prefill 与 Decode 怎么拆
9节点路线图中篇,涵盖Inference Optimization五大武器、LLM Serving Engines选型矩阵、Prefill与Decode双SLO拆解。
- 8 min read AI 推理工程
Paged Attention 上篇:从 60-80% 显存浪费到 <4% 的工程革命
Paged Attention 是 vLLM 的核心发明——借鉴 OS 虚拟内存思想,把 KV cache 切成定长 block,显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍。本文翻译 Hamza El-Shafie 长文并补充中文工程视角。
- 7 min read AI 推理工程
Paged Attention 中篇:vLLM 架构 + 2-3x 吞吐 + 4% 浪费复现
Paged Attention 三件套:block table(逻辑→物理映射)+ KV cache manager(free pool)+ paged attention kernel。vLLM 如何把显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍,本文给出完整数据复现。
- 11 min read AI 推理工程
Paged Attention 下篇:MQA/GQA/MLA + 推理优化
Paged Attention 解决了分配问题,KV 体积问题需要 MQA/GQA/MLA/GTA/GLA 五种压缩机制;配套的 Continuous Batching、Speculative Decoding、Quantisation 组成完整推理优化拼图。本文是下篇,附国内大厂真实案例。