#NLP
2 篇文章
相关文章
- 15 min read 通俗易懂讲论文
Transformer 详解:注意力就是一切
用图书馆管理员+电影导演的类比讲清 Google 2017 年 Transformer:Query/Key/Value、多头注意力、位置编码、Encoder-Decoder 架构;BLEU 翻译分数突破及成为 ChatGPT 祖先的进化路线。
- 10 min read LLM原理
从数数到采样:手写一个语言模型
不用任何框架,从二元组计数写出一个能自回归生成的「语言模型」,再把它的骨架逐层加厚成 Embedding → Linear → ReLU → 采样。这篇把 LLM 前向链路的每一层都落到能手算复核的数字上,顺带核对了讲义里一处已经过时的词表规模说法。