#Attention
4 篇文章
相关文章
- 12 min read LLM原理
RoPE 旋转位置编码:Attention 如何感知顺序
从查表得到 embedding 到 RoPE 注入位置信息,把 LLM 输入侧的两步拆开:tokenizer 决定 token 数,embedding 是纯索引,RoPE 用旋转替代叠加,让注意力分数只依赖相对位置。
- 15 min read LLM原理
Sparse Attention 方法谱系:三条路线
长上下文推理的算力瓶颈在 O(s²)。把稀疏注意力的方法谱系摊开:静态模式、动态模式、训练时原生稀疏三类路线各自的机制、收益与代价,并说清「保留 1/4 计算量降到 1/16」为什么在 decode 阶段要打折。
- 13 min read LLM原理
FlashAttention:把注意力从显存搬回片上
FlashAttention 不改注意力的数学,只改它搬运数据的方式。这篇拆开它的三个机关——分块、在线 softmax、一次遍历——说清每一步省下了哪一次 HBM 往返,并解释为什么三代内核(FA-1/2/3)改的全是访存调度而不是算术。
- 11 min read LLM原理
Attention 机制:为什么 K/V 比 Q 窄
从 hidden states 到注意力输出,把 MHA 与 GQA 的张量路径逐行走一遍:加性 causal mask 为什么会改变 softmax 的分母、整行 -inf 如何变成 NaN、GQA 到底省了哪笔账,以及分块归一化为什么不能逐块做 softmax。