#GPU
3 篇文章
相关文章
- 11 min read AI基础设施
从 FLOPS 到美元:LLM 推理成本的数学推导
把「Token 很贵」拆到可计算的层面:Self-Attention 单层成本 24nd²+4n²d 怎么来的、为什么 4K 曾是标准上下文、H100 的 295 FLOPs/byte 分界线怎么划、训练 6N 与推理 2N 的差异,以及 CPM、Spot 与 Prefill-Decode 分离的实际账。
- 9 min read AI基础设施
算力与 Token 经济学:用生活类比讲透 AI 的真实成本
用快递纸箱、超跑、图书馆、餐厅四个类比讲透 AI 推理成本:为什么每生成一个 token 要付 2N 次运算的税,为什么 3 万美元的 H100 在 decode 阶段空转 99%,为什么 128K 上下文的成本是 4K 的 35 倍,以及省钱最有效的三个杠杆。
- 13 min read LLM原理
FlashAttention:把注意力从显存搬回片上
FlashAttention 不改注意力的数学,只改它搬运数据的方式。这篇拆开它的三个机关——分块、在线 softmax、一次遍历——说清每一步省下了哪一次 HBM 往返,并解释为什么三代内核(FA-1/2/3)改的全是访存调度而不是算术。