#系列教程
32 篇文章
相关文章
- 10 min read AI Agent 工程
Agent 是什么?—— 一个公式、一个类比、一个能跑的 Demo
从 Agent = LLM + 上下文 + 工具 这个核心公式出发,用一个实习生类比和一个 50 行 Python Demo,讲清 AI Agent 的本质。
- 9 min read AI Agent 工程
Agent 的双手:工具调用、MCP 协议与一个双工具 Agent
工具是 Agent 改变世界的方式。本文拆解工具的五种分类、MCP 协议的设计思路,并带你给 Agent 装上'天气查询 + 便签记录'两个工具。
- 10 min read AI Agent 工程
Agent 的记忆:RAG、知识库与一个能记住你的问答 Agent
Agent 的记忆系统——从进程内的临时便签到跨会话的向量检索。本文拆解 RAG 原理、三种记忆分层、知识组织方法,并动手搭一个能记住你偏好的问答 Agent。
- 10 min read AI Agent 工程
Agent 怎么"学好":评估体系、训练方法与持续进化
Agent 搭好只是第一步——你怎么知道它变好了还是变差了?本文拆解 Agent 评估、模型后训练与持续进化闭环,并动手构建一个评测小平台。
- 11 min read AI Agent 工程
Agent 的未来:多模态、实时交互与多 Agent 协作
Agent 不只活在对话框里。本文拆解语音 Agent、GUI 操作、多 Agent 协作架构,并动手实现两个 Agent 对话协作完成一个任务。
- 10 min read AI
Pi Agent 是什么?——极简内核、四层洋葱与一个能跑的 Agent Loop
Pi 不是又一个 LLM 包装器——它是一个 Agent 运行时。本文拆解 pi 的四层洋葱架构、无状态的 Agent Loop 引擎,并写一个最小可跑的'思考-行动'循环。
- 9 min read AI
Pi 的工具设计:为什么"约束"比"自由"更重要
Pi 给 LLM 设计工具的原则是:约束即保护。本文拆解 6+1 工具哲学、Edit 的精确替换、Bash 的边界、搜索的结构化,以及为什么 LLM 用结构化参数犯的错比自由文本少得多。
- 10 min read AI
Pi 的能力外置:为什么"不内建"比"内建"更强大
Pi 不做内建子 Agent、不做内建 MCP、不做内建权限弹窗、不做内建 Plan Mode。这不是偷懒——这是极简内核哲学。本文拆解 Extension 系统和三个回调如何组合出无限产品形态。
- 11 min read AI
Pi 的设计哲学:极简内核、四个反主流选择与架构的适用边界
Pi 的 24% 代码驱动了 100% 的产品形态——这个数字背后是极简内核哲学和四个反主流选择。本文做全系列回顾,并给出这套架构的适用/不适用边界。
- 14 min read AI Agent 工程
Agent 是「没有记忆的新人」:为什么 codebase 结构决定 AI 输出质量
AI Agent 每次开工都是失忆的新人。决定它产出好坏的不是 prompt,而是 codebase 的结构。拆解三大失败模式——弱反馈闭环、导航困难、认知过载,以及「心智地图」问题。
- 16 min read AI Agent 工程
深模块与灰盒模块:让 AI 在你划定的边界内干活
Ousterhout 深模块——大量实现 + 简单接口——正是 AI 友好的代码组织方式。灰盒模块里人定接口、AI 管实现、测试锁行为。这是渐进式披露的落地方案。
- 17 min read AI Agent 工程
Skill 设计最佳实践:分层架构、命名约定与「三句话的力量」
把设计哲学编码成 skill 的实用手册:Getting Started → Main Flow → Shaping → Upkeep 的分层架构、slash+verb-first 命名约定、editable vs read-only,以及「skill 不必长」的克制。
- 20 min read AI Agent 工程
动手写你的第一个 Skill:『线上故障排查』从零到能跑
用第 3 篇的最佳实践写一个可用的『线上故障排查』skill:description 触发条件 + 确认→缩小范围→假设→取证→修复→回归的六步循环,外加三条铁律。附完整文件,贴进 .agents/ 即可用。
- 27 min read AI Agent 工程
让 Skill 更强并落地团队:sidecar 扩展与「idea→ship 主线」
给『线上故障排查』skill 加装 references/(Kafka 积压、JVM OOM、慢查询三本手册)、scripts/(日志聚合)、agents/(假设评审子代理),再用 grill-me→to-spec→to-tickets→tdd 跑通「idea→ship 主线」,附 adoption 清单。
- 6 min read AI 推理工程
9 步走完 LLM 推理工程(上):为什么你该做 Inference Engineer
9节点路线图上篇,涵盖Compute&Memory/Quantization/KV Cache三大地基概念,配中文工程视角与国内大厂案例。
- 6 min read AI 推理工程
9 步走完 LLM 推理工程(中):怎么让模型跑得快 / 怎么选引擎 / Prefill 与 Decode 怎么拆
9节点路线图中篇,涵盖Inference Optimization五大武器、LLM Serving Engines选型矩阵、Prefill与Decode双SLO拆解。
- 7 min read AI 推理工程
9 步走完 LLM 推理工程(下):MoE vs Dense、LLM 路由、端到端全景 + 4 周实操路径
9节点路线图下篇,涵盖MoE vs Dense选型、LLM路由三大策略、端到端推理7层链路,附4周实操路径与速览对照表。
- 6 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(上):从生成机制到 O(n²) 冗余
KV Cache三步曲上篇,Part 1-3:LLM生成token机制、Q新K/V复用本质、O(n²)冗余的量化分析,含Mermaid数据流图。
- 5 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(中):KV Cache 修复方案 + TTFT 的真相
KV Cache三步曲中篇:K/V缓存4步流程(算一次存重复读)、Prefill与Decode双SLO、TTFT与TPOT算力对比。
- 7 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(下):KV Cache 显存账 + 五大救兵 + 实操清单
KV Cache三步曲下篇:Qwen-72B 32K单请求80GB显存算账,附GQA/PagedAttention/SpecDecoding/PrefixCache五大救兵技术与代码。
- 8 min read AI 推理工程
Paged Attention 上篇:从 60-80% 显存浪费到 <4% 的工程革命
Paged Attention 是 vLLM 的核心发明——借鉴 OS 虚拟内存思想,把 KV cache 切成定长 block,显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍。本文翻译 Hamza El-Shafie 长文并补充中文工程视角。
- 7 min read AI 推理工程
Paged Attention 中篇:vLLM 架构 + 2-3x 吞吐 + 4% 浪费复现
Paged Attention 三件套:block table(逻辑→物理映射)+ KV cache manager(free pool)+ paged attention kernel。vLLM 如何把显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍,本文给出完整数据复现。
- 11 min read AI 推理工程
Paged Attention 下篇:MQA/GQA/MLA + 推理优化
Paged Attention 解决了分配问题,KV 体积问题需要 MQA/GQA/MLA/GTA/GLA 五种压缩机制;配套的 Continuous Batching、Speculative Decoding、Quantisation 组成完整推理优化拼图。本文是下篇,附国内大厂真实案例。
- 10 min read AI 推理工程
为什么你的 Agent 总返回畸形 JSON:Guided Decoding 是什么(上篇)
Guided Decoding 通过 DFA → Token Mask → Logits 三步,对 LLM 每步生成的 token 候选集做约束,保证输出 100% 符合 JSON Schema / Regex 等语法规则。不用 guided decoding,复杂 schema 下 Agent 正确率可低至 61%。
- 8 min read AI 推理工程
Guided Decoding 性能实测:2×2 Benchmark 全图(中篇)
SqueezeBits 原始 benchmark 完整复现:Book-Info(重复 schema)、GitHub_easy(动态简单)、GitHub_medium(动态复杂)三场景下 XGrammar × LLGuidance × vLLM × SGLang 的吞吐、TPOT、correct rate 数据全面对比。
- 7 min read AI 推理工程
Guided Decoding 选型决策表:3 条规则终结选择困难(下篇)
3 条 if-then 工程师级选型规则:重复 schema → XGrammar + SGLang;动态 schema → LLGuidance + SGLang;Framework → 永远选 SGLang。附 DeepSeek / 通义千问国内案例与可直接抄的 checklist。
- 7 min read AI 推理工程
Distributed Training 上篇:单卡账本 16Ψ bytes 与省钱三件套
为什么 GPT-3 在单卡 A100 上要跑 355 年?70B 模型 Adam + FP32 master = 16Ψ bytes 静态显存,A100 80GB 装不下。本文翻译 Suman Debnath 长文,推导单卡账本 + 三件省钱武器(gradient checkpointing / accumulation / mixed precision)。
- 8 min read AI 推理工程
Distributed Training 中篇:Data Parallel 与 ZeRO-1/2/3 全图
上篇三件套能省钱但不能把 70B 塞进单卡——当模型本身就已经装不下时,必须把模型本身分布到多张卡上。Data Parallel 的本质 / 三个通信原语(All-Reduce / All-Gather / Reduce-Scatter)/ ZeRO-1/2/3 的递进逻辑和显存公式。
- 5 min read AI 推理工程
Distributed Training 下篇:Ray Train 实战与分布式未来
中篇讲了 ZeRO-3/FSDP 的原理——这一篇讲怎么用 5 个 API 把它跑起来。Ray Train 是分布式训练的操作系统层:屏蔽了 torchrun、进程管理、故障恢复、checkpoint 调度这些脏活累活,让工程师专注模型和训练逻辑本身。
- 8 min read AI 推理工程
Post-Training 101 上篇:SFT 全景——从 base 到 instruct
ChatGPT 能听懂指令而 GPT-3 只会续写——从续写到听话的鸿沟就是 Post-Training 要填的坑。本篇聚焦 SFT 全景:数据/Loss/Batch 三件套,配国内大厂案例,讲透 SFT 数据质量大于一切的工程真理。
- 7 min read AI 推理工程
Post-Training 101 中篇:RL 五大奖励族横向对比
SFT 教模型怎么回答,RL 教模型回答得更好——但更好需要一个定义。RLHF/RLAIF/RLVR/PRM/Rubric-guided 五族各有适用边界。Bradley-Terry 把谁更好变成可微 loss,KL 正则化防止刷奖励分而跑偏。
- 8 min read AI 推理工程
Post-Training 101 下篇:算法矩阵与评估体系
SFT 是基础,RL 是升华——但用哪种 RL 算法决定了你是在安全调优还是极限拔高。PPO/GRPO/REINFORCE/DPO 四种算法有明确 if-then 选型边界。Auto Eval/LLM Judge/Human Eval 三种评估手段各有适用场景。附 DeepSeek R1/V3 后训练演进脉络。