后端与基础设施
AI 工程
翻译·演讲·阅读
其他
1 篇文章
拆开 Llama 的 Decoder Layer:RMSNorm 只沿 hidden 维统计,比 LayerNorm 少一步减均值;SwiGLU 用 SiLU 门控按当前输入调节中间特征。三段可复现的 PyTorch 代码验证了缩放不变与平移敏感的差别,也说明 3HF 与 2HF 的参数账必须连中间维度一起看。
如果这篇文章帮到了你,欢迎请我喝杯咖啡。
微信支付
Faker(**鹏)
支付宝
王二小(**鹏)
金额随意,感谢支持