后端与基础设施
AI 工程
翻译·演讲·阅读
其他
1 篇文章
从查表得到 embedding 到 RoPE 注入位置信息,把 LLM 输入侧的两步拆开:tokenizer 决定 token 数,embedding 是纯索引,RoPE 用旋转替代叠加,让注意力分数只依赖相对位置。
如果这篇文章帮到了你,欢迎请我喝杯咖啡。
微信支付
Faker(**鹏)
支付宝
王二小(**鹏)
金额随意,感谢支持