后端与基础设施
AI 工程
翻译·演讲·阅读
其他
1 篇文章
Paged Attention 解决了分配问题,KV 体积问题需要 MQA/GQA/MLA/GTA/GLA 五种压缩机制;配套的 Continuous Batching、Speculative Decoding、Quantisation 组成完整推理优化拼图。本文是下篇,附国内大厂真实案例。
如果这篇文章帮到了你,欢迎请我喝杯咖啡。
微信支付
Faker(**鹏)
支付宝
王二小(**鹏)
金额随意,感谢支持