后端与基础设施
AI 工程
翻译·演讲·阅读
其他
1 篇文章
用快递纸箱、超跑、图书馆、餐厅四个类比讲透 AI 推理成本:为什么每生成一个 token 要付 2N 次运算的税,为什么 3 万美元的 H100 在 decode 阶段空转 99%,为什么 128K 上下文的成本是 4K 的 35 倍,以及省钱最有效的三个杠杆。
如果这篇文章帮到了你,欢迎请我喝杯咖啡。
微信支付
Faker(**鹏)
支付宝
王二小(**鹏)
金额随意,感谢支持