#KV-Cache
3 篇文章
相关文章
- 6 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(上):从生成机制到 O(n²) 冗余
KV Cache三步曲上篇,Part 1-3:LLM生成token机制、Q新K/V复用本质、O(n²)冗余的量化分析,含Mermaid数据流图。
- 5 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(中):KV Cache 修复方案 + TTFT 的真相
KV Cache三步曲中篇:K/V缓存4步流程(算一次存重复读)、Prefill与Decode双SLO、TTFT与TPOT算力对比。
- 7 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(下):KV Cache 显存账 + 五大救兵 + 实操清单
KV Cache三步曲下篇:Qwen-72B 32K单请求80GB显存算账,附GQA/PagedAttention/SpecDecoding/PrefixCache五大救兵技术与代码。