#长上下文
2 篇文章
相关文章
- 6 min read 通俗易懂讲论文
HySparse2 详解:让长上下文 Agent 的 Prefill 便宜 5 倍
小米 MiMo 团队 HySparse2:两层 KV 共享(KV Bridging + KV Reuse),内层 token 级稀疏 + 外层跨解码器复用,80B-A3B MoE 上 Prefill FLOPs 降低 5 倍、KV Cache 从 12GB 压缩到 2.69GB,MRCR-v2 提升 11.30 分。
- 15 min read LLM原理
Sparse Attention 方法谱系:三条路线
长上下文推理的算力瓶颈在 O(s²)。把稀疏注意力的方法谱系摊开:静态模式、动态模式、训练时原生稀疏三类路线各自的机制、收益与代价,并说清「保留 1/4 计算量降到 1/16」为什么在 decode 阶段要打折。