#显存优化
3 篇文章
相关文章
- 8 min read AI 推理工程
Paged Attention 上篇:从 60-80% 显存浪费到 <4% 的工程革命
Paged Attention 是 vLLM 的核心发明——借鉴 OS 虚拟内存思想,把 KV cache 切成定长 block,显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍。本文翻译 Hamza El-Shafie 长文并补充中文工程视角。
- 7 min read AI 推理工程
Paged Attention 中篇:vLLM 架构 + 2-3x 吞吐 + 4% 浪费复现
Paged Attention 三件套:block table(逻辑→物理映射)+ KV cache manager(free pool)+ paged attention kernel。vLLM 如何把显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍,本文给出完整数据复现。
- 11 min read LLM推理
AirLLM:把显存占用和模型规模解耦
AirLLM 用「按层拆盘 + 单层流式」把 70B 模型的显存占用从 80GB 压到 4GB。本文拆开它的核心机制、显存账、4bit 量化的真实含义、与 llama.cpp/vLLM/GPTQ 的横向对照,以及它为什么不是 serving 框架。