#推理优化
4 篇文章
相关文章
- 15 min read LLM原理
Sparse Attention 方法谱系:三条路线
长上下文推理的算力瓶颈在 O(s²)。把稀疏注意力的方法谱系摊开:静态模式、动态模式、训练时原生稀疏三类路线各自的机制、收益与代价,并说清「保留 1/4 计算量降到 1/16」为什么在 decode 阶段要打折。
- 13 min read LLM原理
解码参数手册:温度、Top-k、Top-p 与惩罚项
temperature、top-k、top-p、penalty 这几个参数到底各自改了什么、彼此怎么耦合、HF 源码里按什么顺序执行。这篇用可复跑的代码说明:温度是连续旋钮,top-k 按个数截断、top-p 按累积概率截断,惩罚项分软硬两类,顺序错了结论就错。
- 13 min read LLM原理
FlashAttention:把注意力从显存搬回片上
FlashAttention 不改注意力的数学,只改它搬运数据的方式。这篇拆开它的三个机关——分块、在线 softmax、一次遍历——说清每一步省下了哪一次 HBM 往返,并解释为什么三代内核(FA-1/2/3)改的全是访存调度而不是算术。
- 11 min read LLM原理
Attention 机制:为什么 K/V 比 Q 窄
从 hidden states 到注意力输出,把 MHA 与 GQA 的张量路径逐行走一遍:加性 causal mask 为什么会改变 softmax 的分母、整行 -inf 如何变成 NaN、GQA 到底省了哪笔账,以及分块归一化为什么不能逐块做 softmax。