#GQA
2 篇文章
相关文章
- 7 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(下):KV Cache 显存账 + 五大救兵 + 实操清单
KV Cache三步曲下篇:Qwen-72B 32K单请求80GB显存算账,附GQA/PagedAttention/SpecDecoding/PrefixCache五大救兵技术与代码。
- 11 min read AI 推理工程
Paged Attention 下篇:MQA/GQA/MLA + 推理优化
Paged Attention 解决了分配问题,KV 体积问题需要 MQA/GQA/MLA/GTA/GLA 五种压缩机制;配套的 Continuous Batching、Speculative Decoding、Quantisation 组成完整推理优化拼图。本文是下篇,附国内大厂真实案例。