#工程实践
11 篇文章
相关文章
- 9 min read 通俗易懂讲论文
论文阅读最佳实践:3 遍阅读法 + 必出 1 个输出
工程师视角的论文阅读 SOP:鸟瞰 20 分钟决定要不要继续 + 精读 2-3 小时理解核心方法 + 复现 5-10 小时把论文变能力 + 必出 1 个输出;配套工具栈与 90 天计划模板。
- 13 min read AI Agent
Agent Token 优化十层检查清单
把 Token 优化从原则变成可勾选的架构评审表:上下文、提示词、工具、编排、路由、输出、循环、可观测、缓存、失败修复十层,每层给出可验证的问法、常见反模式与判据,附六问审查与记忆分层实现。
- 13 min read AI Agent
AgentOps 实战:让 Agent 从能跑变成能管
Agent 上线后真正的难题才开始:可观测性、交互追踪、反馈闭环、人工接管这四件事怎么搭。给出一套最小 AgentOps 栈的四层结构与可直接抄的 Langfuse 代码,并纠正一个常见误解——成本随调用链增长是线性的,不是指数的。
- 12 min read LLM原理
RoPE 旋转位置编码:Attention 如何感知顺序
从查表得到 embedding 到 RoPE 注入位置信息,把 LLM 输入侧的两步拆开:tokenizer 决定 token 数,embedding 是纯索引,RoPE 用旋转替代叠加,让注意力分数只依赖相对位置。
- 15 min read LLM评测
评测的三层指标:模型好不等于系统好
把 AI 应用的评测拆成模型能力、任务完成度、业务价值三层,说明为什么只测第一层会得到「局部最优、全局崩盘」,并给出 RAG 场景端到端评测流水线:评测集怎么建、LLM 评委怎么设计、bad case 怎么分层看。
- 33 min read AI Agent
Agent Native 开发:为智能体设计工作环境
Ralph Loop 为什么有用又为什么危险,工作区即状态如何支撑长程任务,CI 门禁如何形成「阻止—修正—验证」闭环,以及为什么验证器的修改权不能交给被验证的一方。附 Stripe、Anthropic、StrongDM 三个一线案例。
- 15 min read LLM原理
反向传播与 Autograd:梯度是怎么算出来的
从链式法则到 PyTorch 的 autograd:讲清计算图、.grad 与 .grad_fn 的区别、线性层梯度公式 dX=GW^T 与 dW=X^TG 的逐元素推导,以及零_grad 写错时训练如何偏离真值。附三段可运行且已实测的 PyTorch 代码。
- 14 min read RAG
检索质量工程:BM25、混合检索与两阶段重排
RAG 的效果瓶颈通常在检索而不在生成。这篇拆开 BM25 的打分函数(含逐位复现的示例)、稠密检索与交叉编码器的分工、多路结果合并的两种方式,以及两阶段重排里两个 top_k 各自管什么——并指出讲义里一个复现不出来的算式。
- 11 min read LLM
SFT 数据流水线:从 Alpaca 到可训练的 batch
一条 SFT 流水线要串起五步数据准备、collate 打包和目标函数三件事。本文逐行走完 Alpaca 到 Trainer 的链路,并实测两处会在今天直接报错或静默少监督一位的细节。
- 16 min read AI Agent
删掉 90% 的 harness 之后
Google DeepMind 的 Philipp Schmid 每半年重建一次 coding agent harness,把 10–20 个专用工具删到只剩一个 bash。四个 harness 在 350 条任务上分数几乎相同,token 成本却差近一倍——选 harness 该看 token/task。
- 16 min read 软件工程
软件工厂的四个验证回路
Coding agent 让写代码变便宜之后,瓶颈转移到了 review。Sonar 的 Andrew Finch 用 defense in depth 拆出四个验证回路:PR 检查、部署后验证、维护扫描、知识沉淀,并指出真正决定自动化边界的是风险分级而非检查项数量。