#PyTorch
4 篇文章
相关文章
- 5 min read AI 推理工程
Distributed Training 下篇:Ray Train 实战与分布式未来
中篇讲了 ZeRO-3/FSDP 的原理——这一篇讲怎么用 5 个 API 把它跑起来。Ray Train 是分布式训练的操作系统层:屏蔽了 torchrun、进程管理、故障恢复、checkpoint 调度这些脏活累活,让工程师专注模型和训练逻辑本身。
- 15 min read LLM原理
反向传播与 Autograd:梯度是怎么算出来的
从链式法则到 PyTorch 的 autograd:讲清计算图、.grad 与 .grad_fn 的区别、线性层梯度公式 dX=GW^T 与 dW=X^TG 的逐元素推导,以及零_grad 写错时训练如何偏离真值。附三段可运行且已实测的 PyTorch 代码。
- 11 min read LLM
SFT 数据流水线:从 Alpaca 到可训练的 batch
一条 SFT 流水线要串起五步数据准备、collate 打包和目标函数三件事。本文逐行走完 Alpaca 到 Trainer 的链路,并实测两处会在今天直接报错或静默少监督一位的细节。
- 11 min read LLM原理
Attention 机制:为什么 K/V 比 Q 窄
从 hidden states 到注意力输出,把 MHA 与 GQA 的张量路径逐行走一遍:加性 causal mask 为什么会改变 softmax 的分母、整行 -inf 如何变成 NaN、GQA 到底省了哪笔账,以及分块归一化为什么不能逐块做 softmax。