#LLM原理
10 篇文章
相关文章
- 10 min read LLM原理
MoE、LoRA 与数值精度:从零实现一遍
把 MoE 稀疏激活、LoRA 低秩适配和 FP32/FP16/BF16/FP8 三件事放在一起看——它们其实是同一条工业主线:模型如何变大、如何便宜地改、如何便宜地跑。附可复现的 PyTorch 代码与实跑校验过的输出。
- 12 min read LLM原理
RoPE 旋转位置编码:Attention 如何感知顺序
从查表得到 embedding 到 RoPE 注入位置信息,把 LLM 输入侧的两步拆开:tokenizer 决定 token 数,embedding 是纯索引,RoPE 用旋转替代叠加,让注意力分数只依赖相对位置。
- 15 min read LLM原理
Sparse Attention 方法谱系:三条路线
长上下文推理的算力瓶颈在 O(s²)。把稀疏注意力的方法谱系摊开:静态模式、动态模式、训练时原生稀疏三类路线各自的机制、收益与代价,并说清「保留 1/4 计算量降到 1/16」为什么在 decode 阶段要打折。
- 11 min read LLM原理
RMSNorm 与 SwiGLU:Llama 的两块拼图
拆开 Llama 的 Decoder Layer:RMSNorm 只沿 hidden 维统计,比 LayerNorm 少一步减均值;SwiGLU 用 SiLU 门控按当前输入调节中间特征。三段可复现的 PyTorch 代码验证了缩放不变与平移敏感的差别,也说明 3HF 与 2HF 的参数账必须连中间维度一起看。
- 15 min read LLM原理
反向传播与 Autograd:梯度是怎么算出来的
从链式法则到 PyTorch 的 autograd:讲清计算图、.grad 与 .grad_fn 的区别、线性层梯度公式 dX=GW^T 与 dW=X^TG 的逐元素推导,以及零_grad 写错时训练如何偏离真值。附三段可运行且已实测的 PyTorch 代码。
- 13 min read LLM原理
解码参数手册:温度、Top-k、Top-p 与惩罚项
temperature、top-k、top-p、penalty 这几个参数到底各自改了什么、彼此怎么耦合、HF 源码里按什么顺序执行。这篇用可复跑的代码说明:温度是连续旋钮,top-k 按个数截断、top-p 按累积概率截断,惩罚项分软硬两类,顺序错了结论就错。
- 13 min read LLM原理
FlashAttention:把注意力从显存搬回片上
FlashAttention 不改注意力的数学,只改它搬运数据的方式。这篇拆开它的三个机关——分块、在线 softmax、一次遍历——说清每一步省下了哪一次 HBM 往返,并解释为什么三代内核(FA-1/2/3)改的全是访存调度而不是算术。
- 14 min read RAG
检索质量工程:BM25、混合检索与两阶段重排
RAG 的效果瓶颈通常在检索而不在生成。这篇拆开 BM25 的打分函数(含逐位复现的示例)、稠密检索与交叉编码器的分工、多路结果合并的两种方式,以及两阶段重排里两个 top_k 各自管什么——并指出讲义里一个复现不出来的算式。
- 11 min read LLM原理
Attention 机制:为什么 K/V 比 Q 窄
从 hidden states 到注意力输出,把 MHA 与 GQA 的张量路径逐行走一遍:加性 causal mask 为什么会改变 softmax 的分母、整行 -inf 如何变成 NaN、GQA 到底省了哪笔账,以及分块归一化为什么不能逐块做 softmax。
- 10 min read LLM原理
从数数到采样:手写一个语言模型
不用任何框架,从二元组计数写出一个能自回归生成的「语言模型」,再把它的骨架逐层加厚成 Embedding → Linear → ReLU → 采样。这篇把 LLM 前向链路的每一层都落到能手算复核的数字上,顺带核对了讲义里一处已经过时的词表规模说法。