#LLM
69 篇文章
相关文章
- 6 min read LLM
大模型提示词工程:从入门到精通
Prompt Engineering 从入门到精通:覆盖基础技巧、高级模式、领域应用、评估优化与企业级落地。
- 7 min read Agent
彻底搞懂 Agent Skills:从原理到实践
深入解析 Agent Skills 的本质、渐进式披露机制以及与 MCP 的核心差异
- 10 min read LLM
向经典致敬:用大师的提问艺术驯服大模型
基于《学会提问》、《如何解决问题》等经典著作,构建与 AI 高效对话的思维框架
- 8 min read AI
用 opencode + agent-skills 开发俄罗斯方块:自然语言驱动工程流
用 opencode 终端 agent 跑 addyosmani/agent-skills 的 24 个工程 skill,完整开发一个网页版俄罗斯方块。零斜杠命令,纯自然语言驱动。
- 14 min read AI
Harness Engineering:让 AI 编码智能体“能用、可控、可维护”的工程体系
从 OpenAI Codex 与 LangChain 的实践出发,系统化理解 Harness Engineering 的核心要素:上下文、约束、反馈与熵管理。
- 10 min read AI Agent 工程
Agent 是什么?—— 一个公式、一个类比、一个能跑的 Demo
从 Agent = LLM + 上下文 + 工具 这个核心公式出发,用一个实习生类比和一个 50 行 Python Demo,讲清 AI Agent 的本质。
- 9 min read AI Agent 工程
Agent 的双手:工具调用、MCP 协议与一个双工具 Agent
工具是 Agent 改变世界的方式。本文拆解工具的五种分类、MCP 协议的设计思路,并带你给 Agent 装上'天气查询 + 便签记录'两个工具。
- 10 min read AI Agent 工程
Agent 的记忆:RAG、知识库与一个能记住你的问答 Agent
Agent 的记忆系统——从进程内的临时便签到跨会话的向量检索。本文拆解 RAG 原理、三种记忆分层、知识组织方法,并动手搭一个能记住你偏好的问答 Agent。
- 10 min read AI Agent 工程
Agent 怎么"学好":评估体系、训练方法与持续进化
Agent 搭好只是第一步——你怎么知道它变好了还是变差了?本文拆解 Agent 评估、模型后训练与持续进化闭环,并动手构建一个评测小平台。
- 11 min read AI Agent 工程
Agent 的未来:多模态、实时交互与多 Agent 协作
Agent 不只活在对话框里。本文拆解语音 Agent、GUI 操作、多 Agent 协作架构,并动手实现两个 Agent 对话协作完成一个任务。
- 15 min read AI Agent
LoopX 技术深度解析:为长程 AI Agent 构建可管理的本地控制面
深入解析 LoopX 的架构设计、能力边界与最佳实践:如何用 Goal、Gate、Todo、Evidence、Quota 六大控制面,把 AI Agent 从一次性聊天变成可管理、可复盘、可持续改进的数字员工。
- 10 min read AI
Pi Agent 是什么?——极简内核、四层洋葱与一个能跑的 Agent Loop
Pi 不是又一个 LLM 包装器——它是一个 Agent 运行时。本文拆解 pi 的四层洋葱架构、无状态的 Agent Loop 引擎,并写一个最小可跑的'思考-行动'循环。
- 9 min read AI
Pi 的工具设计:为什么"约束"比"自由"更重要
Pi 给 LLM 设计工具的原则是:约束即保护。本文拆解 6+1 工具哲学、Edit 的精确替换、Bash 的边界、搜索的结构化,以及为什么 LLM 用结构化参数犯的错比自由文本少得多。
- 10 min read AI
Pi 的能力外置:为什么"不内建"比"内建"更强大
Pi 不做内建子 Agent、不做内建 MCP、不做内建权限弹窗、不做内建 Plan Mode。这不是偷懒——这是极简内核哲学。本文拆解 Extension 系统和三个回调如何组合出无限产品形态。
- 11 min read AI
Pi 的设计哲学:极简内核、四个反主流选择与架构的适用边界
Pi 的 24% 代码驱动了 100% 的产品形态——这个数字背后是极简内核哲学和四个反主流选择。本文做全系列回顾,并给出这套架构的适用/不适用边界。
- 8 min read AI
AI 时代软件工程的变与不变
从编码门槛降低、反馈环优先、架构价值重估三个角度,探讨 AI 能力快速进化背景下软件工程师的真正价值所在,以及如何建立与之匹配的判断力。
- 7 min read AI
Matt Pocock Skills 体系解析:设计哲学与核心 Skill 导读
系统解读 Matt Pocock 开源的 AI Coding Skills 项目:从目录结构、设计约定到核心 Skill 的实现逻辑,探讨它如何解决 AI 编程中的真实痛点。
- 3 min read AI
用 Skill 系统开发 2048:完整的工程流程演示
以开发一个网页版 2048 游戏为例,完整演示 Matt Pocock Skill 系统的工作流程:从 grill 对齐、spec 生成、ticket 拆分到 TDD 实现。
- 13 min read AI
Prime Agent 深度技术分析:让 AI 代理真正长跑的架构设计
深度拆解 Prime Agent(v0.7.1)的六大核心机制:持久 IPython 内核、三层消息队列、迭代压缩、Daemon 架构、树形会话、跨供应商切换,剖析其如何解决当前 AI Agent 跑不远的问题。
- 27 min read LLM
当代码不再值钱:从 Linus 到 LLM,一个行业信条的两次反转
沿着 Linus Torvalds 的 "Talk is cheap. Show me the code" 到 Andres Parra 的回响,再到 Kailash Nadh 的 "Code is cheap. Show me the talk",论证 LLM 时代判断力比写代码本身更稀缺。
- 21 min read AI
拆解 DeepSeek Harness:PTC 把五次工具往返压成一次,「创造模式」让模型自造工具
本文基于 dsh 0.1.1-rc.2 源码阅读,拆解 DeepSeek Harness 两个「反直觉」模式:PTC 让模型写程序把多次工具往返压成一次,创造模式让模型在运行中动态装卸插件;再往下挖到底层 Cordis 框架的时间/空间两个维度,最后讨论 dsh 面向「持续学习」的运行时设计与它距离成熟产品的距离。
- 11 min read AI
Cloudflare Code Mode:让 LLM 写代码而非调工具,把 MCP 变成 TypeScript API
本文拆解 Cloudflare Code Mode:把 MCP 工具渲染成 TypeScript API、让模型写代码而非发 tool-call 的新范式。从「莎士比亚学中文」的类比讲起,拆解类型生成、V8 isolate 沙箱隔离、网络封锁与密钥保护,再结合 cloudflare/agents 框架的 connector 与 snippet 机制,最后给出何时值得引入的判断清单。
- 9 min read Linux 是 Agent 的底层
AI Agent 的基础设施,90% 是 1996 年的 Linux
给 Agent 单独建用户叫身份隔离,chmod 一下叫最小权限,systemd 守护进程叫 Agent Runtime——本文把 AI Agent 领域那些听起来高大上的术语,还原成 Linux 运维里早已存在的老办法,并解释为什么这套思路是 Agent 安全的根基。
- 21 min read AI Agent 工程
智能体工程模式:代码免费时代的软件工程实践
解读 Simon Willison《Agentic Engineering Patterns》:当写代码的边际成本趋零,软件工程的重心从'写'转向'定义问题、验证结果、偿还认知债',以及这套个人方法论的组织盲区。
- 33 min read AI Agent 工程
AI Native SDLC 重构开发:四份报告深度解读
交叉比较 Google、OpenAI、Anthropic、LangChain 四份 AI 原生 SDLC 报告:当代码生成从稀缺能力变成基础能力,瓶颈迁移到意图、验证、治理与判断。附四份材料的共同结论与各自盲区。
- 29 min read AI Agent 工程
从 intent.md 到闭环:AI 原生软件开发的六个阶段、一条制品链、几道审批门
解读 Anthropic《AI 原生 SDLC 手册》:从 intent.md 到闭环的六个阶段、一条制品链、几道审批门,重新定义受监管企业如何在 agent 时代落地 Claude Code。
- 9 min read Linux 是 Agent 的底层
Agent 的工具调用,90% 是 1996 年的 SSH
Tool Calling 是 Agent 的核心能力之一。但如果你仔细看它的本质——发送指令、执行命令、返回结果——会发现这不过是 Linux 早就解决过的问题。SSH 远程执行、管道传输、CGI 脚本,这些 1996 年的技术,早已蕴含了 Tool Calling 所有的设计要素。
- 9 min read Linux 是 Agent 的底层
Agent 的记忆,90% 是 1996 年的文件系统
Agent 的长期记忆靠 RAG,短期记忆靠 context window。但如果你仔细看它的本质——持久化、检索、过期、压缩——你会发现这不过是 Linux 文件系统在几十年前就解决过的问题。/var/log、/tmp、crontab,这些目录和机制早已蕴含了 Agent 记忆系统的所有设计要素。
- 8 min read Linux 是 Agent 的底层
Agent 的评估,90% 是 1996 年的日志分析
Agent 评估是 Agent 落地最难的问题之一:怎么知道一个 Agent 好不好?怎么量化它的进步?Benchmark、RLHF、自动化测试,这些听起来很新。但如果你仔细看,它们不过是 Linux 早就解决过的问题——日志分析、回归测试、SRE 的 SLO。
- 7 min read Linux 是 Agent 的底层
Agent 的编排,90% 是 1976 年的 Makefile
多 Agent 协作、任务依赖图、工作流引擎——这些听起来是 2024 年的新技术。但如果你仔细看,它们不过是 Makefile 在 1976 年就解决过的问题:拓扑排序、增量执行、并行调度、失败传播。
- 8 min read Linux 是 Agent 的底层
Agent 的安全,90% 是 1998 年的 SELinux
Agent 安全是当下的热门话题:prompt injection、数据隔离、工具滥用。但如果你仔细看,这些问题的本质——强制访问控制、白名单、审计追溯——Linux 早在 1998 年就给出了完整答案。SELinux 的 MLS/MCS、seccomp、namespace,比大多数 Agent 安全方案早了 20 年。
- 8 min read Linux 是 Agent 的底层
Agent 的通信,90% 是 1979 年的 Unix Socket
Agent 之间的通信、Agent 和外部服务的交互——这些听起来是分布式系统的新问题。但如果你仔细看,本地进程间通信(IPC)早在 1979 年就有完整答案了:Unix Domain Socket 的可靠传输、权限验证、文件描述符传递,比 gRPC 和 WebSocket 早了 40 年。
- 27 min read AI 推理工程
Inference Engineering 学习路线总结
9节点Inference Engineering路线图,涵盖算力/显存/量化/KV Cache/优化/引擎/MoE/路由全链路,配中文工程视角。
- 6 min read AI 推理工程
9 步走完 LLM 推理工程(上):为什么你该做 Inference Engineer
9节点路线图上篇,涵盖Compute&Memory/Quantization/KV Cache三大地基概念,配中文工程视角与国内大厂案例。
- 6 min read AI 推理工程
9 步走完 LLM 推理工程(中):怎么让模型跑得快 / 怎么选引擎 / Prefill 与 Decode 怎么拆
9节点路线图中篇,涵盖Inference Optimization五大武器、LLM Serving Engines选型矩阵、Prefill与Decode双SLO拆解。
- 7 min read AI 推理工程
9 步走完 LLM 推理工程(下):MoE vs Dense、LLM 路由、端到端全景 + 4 周实操路径
9节点路线图下篇,涵盖MoE vs Dense选型、LLM路由三大策略、端到端推理7层链路,附4周实操路径与速览对照表。
- 6 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(上):从生成机制到 O(n²) 冗余
KV Cache三步曲上篇,Part 1-3:LLM生成token机制、Q新K/V复用本质、O(n²)冗余的量化分析,含Mermaid数据流图。
- 5 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(中):KV Cache 修复方案 + TTFT 的真相
KV Cache三步曲中篇:K/V缓存4步流程(算一次存重复读)、Prefill与Decode双SLO、TTFT与TPOT算力对比。
- 7 min read AI 推理工程
为什么 ChatGPT 第一个字永远慢(下):KV Cache 显存账 + 五大救兵 + 实操清单
KV Cache三步曲下篇:Qwen-72B 32K单请求80GB显存算账,附GQA/PagedAttention/SpecDecoding/PrefixCache五大救兵技术与代码。
- 8 min read AI 推理工程
Paged Attention 上篇:从 60-80% 显存浪费到 <4% 的工程革命
Paged Attention 是 vLLM 的核心发明——借鉴 OS 虚拟内存思想,把 KV cache 切成定长 block,显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍。本文翻译 Hamza El-Shafie 长文并补充中文工程视角。
- 7 min read AI 推理工程
Paged Attention 中篇:vLLM 架构 + 2-3x 吞吐 + 4% 浪费复现
Paged Attention 三件套:block table(逻辑→物理映射)+ KV cache manager(free pool)+ paged attention kernel。vLLM 如何把显存浪费从 60-80% 降到 <4%,吞吐提升 2-3 倍,本文给出完整数据复现。
- 11 min read AI 推理工程
Paged Attention 下篇:MQA/GQA/MLA + 推理优化
Paged Attention 解决了分配问题,KV 体积问题需要 MQA/GQA/MLA/GTA/GLA 五种压缩机制;配套的 Continuous Batching、Speculative Decoding、Quantisation 组成完整推理优化拼图。本文是下篇,附国内大厂真实案例。
- 10 min read AI 推理工程
为什么你的 Agent 总返回畸形 JSON:Guided Decoding 是什么(上篇)
Guided Decoding 通过 DFA → Token Mask → Logits 三步,对 LLM 每步生成的 token 候选集做约束,保证输出 100% 符合 JSON Schema / Regex 等语法规则。不用 guided decoding,复杂 schema 下 Agent 正确率可低至 61%。
- 8 min read AI 推理工程
Guided Decoding 性能实测:2×2 Benchmark 全图(中篇)
SqueezeBits 原始 benchmark 完整复现:Book-Info(重复 schema)、GitHub_easy(动态简单)、GitHub_medium(动态复杂)三场景下 XGrammar × LLGuidance × vLLM × SGLang 的吞吐、TPOT、correct rate 数据全面对比。
- 7 min read AI 推理工程
Guided Decoding 选型决策表:3 条规则终结选择困难(下篇)
3 条 if-then 工程师级选型规则:重复 schema → XGrammar + SGLang;动态 schema → LLGuidance + SGLang;Framework → 永远选 SGLang。附 DeepSeek / 通义千问国内案例与可直接抄的 checklist。
- 7 min read AI 推理工程
Distributed Training 上篇:单卡账本 16Ψ bytes 与省钱三件套
为什么 GPT-3 在单卡 A100 上要跑 355 年?70B 模型 Adam + FP32 master = 16Ψ bytes 静态显存,A100 80GB 装不下。本文翻译 Suman Debnath 长文,推导单卡账本 + 三件省钱武器(gradient checkpointing / accumulation / mixed precision)。
- 8 min read AI 推理工程
Distributed Training 中篇:Data Parallel 与 ZeRO-1/2/3 全图
上篇三件套能省钱但不能把 70B 塞进单卡——当模型本身就已经装不下时,必须把模型本身分布到多张卡上。Data Parallel 的本质 / 三个通信原语(All-Reduce / All-Gather / Reduce-Scatter)/ ZeRO-1/2/3 的递进逻辑和显存公式。
- 5 min read AI 推理工程
Distributed Training 下篇:Ray Train 实战与分布式未来
中篇讲了 ZeRO-3/FSDP 的原理——这一篇讲怎么用 5 个 API 把它跑起来。Ray Train 是分布式训练的操作系统层:屏蔽了 torchrun、进程管理、故障恢复、checkpoint 调度这些脏活累活,让工程师专注模型和训练逻辑本身。
- 8 min read AI 推理工程
Post-Training 101 上篇:SFT 全景——从 base 到 instruct
ChatGPT 能听懂指令而 GPT-3 只会续写——从续写到听话的鸿沟就是 Post-Training 要填的坑。本篇聚焦 SFT 全景:数据/Loss/Batch 三件套,配国内大厂案例,讲透 SFT 数据质量大于一切的工程真理。
- 7 min read AI 推理工程
Post-Training 101 中篇:RL 五大奖励族横向对比
SFT 教模型怎么回答,RL 教模型回答得更好——但更好需要一个定义。RLHF/RLAIF/RLVR/PRM/Rubric-guided 五族各有适用边界。Bradley-Terry 把谁更好变成可微 loss,KL 正则化防止刷奖励分而跑偏。
- 8 min read AI 推理工程
Post-Training 101 下篇:算法矩阵与评估体系
SFT 是基础,RL 是升华——但用哪种 RL 算法决定了你是在安全调优还是极限拔高。PPO/GRPO/REINFORCE/DPO 四种算法有明确 if-then 选型边界。Auto Eval/LLM Judge/Human Eval 三种评估手段各有适用场景。附 DeepSeek R1/V3 后训练演进脉络。
- 5 min read 通俗易懂讲论文
Agensh 详解:1024 个智能体,没有中央调度
微软研究院无中央编排器的多智能体自组织框架:1024 个 worker 共享同一协作循环(收集上下文/认领子任务/行动/验证/合并),自发形成分工合作;ProgramBench 通过率从 19.31% 提升到 28.78%,pandoc 从 33.89% 提升到 55.06%。
- 8 min read 通俗易懂讲论文
AutoCompact 详解:让编码智能体自己决定何时压缩上下文
AutoCompact 训练编码智能体通过裁判审查 + SFT + RL 两阶段自主决定何时压缩上下文、保留什么工作状态、如何无缝衔接继续执行;SWE-bench Verified 提升 +9.2%,SWE-PolyBench +5.0%。
- 8 min read 通俗易懂讲论文
AutoGym 详解:从零生成完整的 RL 训练场
DAIR AI 蓝图先行 gym 自动生成框架:从领域种子出发,先定义有效解空间/环境要求/验证标准再生成环境,确保可解性内建;主动课程机制随模型能力自动调整难度;摆脱手工设计 + LLM 裁判不可靠的两大痛点。
- 6 min read 通俗易懂讲论文
CASD 详解:让智能体从日志自己总结规则
微软 CASD(Coding-Agent Skill Distillation):给编码智能体 + 整个语料库日志,让它自己写 Python 代码分析失败模式,一遍过蒸馏成行为规则;比 GEPA 提升 5.7 个百分点,成本便宜 22 倍($1.60 vs $35)。
- 8 min read 通俗易懂讲论文
CLM 详解:让模型自己编辑上下文
华盛顿大学+Meta+MIT 联合 2026 年 CLM(Context Language Models):把上下文当文件,让模型用代码编辑管理;Suffix Cache Reuse 节省 35% 计算;BrowseComp-Plus 准确率 +11.4%,小模型受益尤其明显。
- 5 min read 通俗易懂讲论文
Harness-Zero 详解:把 harness 的能力蒸馏进模型权重
Google Harness-Zero:用 Agent-as-Harness 生成纠错示范,微调学生模型把专用 harness 的能力内化到权重里;训练后去掉 harness(44.3%)反而比挂着 harness(41.7%)更好,行为恢复率 82.3%。
- 6 min read 通俗易懂讲论文
HySparse2 详解:让长上下文 Agent 的 Prefill 便宜 5 倍
小米 MiMo 团队 HySparse2:两层 KV 共享(KV Bridging + KV Reuse),内层 token 级稀疏 + 外层跨解码器复用,80B-A3B MoE 上 Prefill FLOPs 降低 5 倍、KV Cache 从 12GB 压缩到 2.69GB,MRCR-v2 提升 11.30 分。
- 6 min read 通俗易懂讲论文
JAZ 详解:一个原语撑起记忆和自我改进
MIT 2026 年 JAZ 极简智能体框架:整个框架只有一个 invoke 原语,所有能力(记忆/反思/工具)由大模型运行时自己涌现;比 MemGPT 召回率高 8%,成本降低 50%;从预设主义到涌现主义的框架哲学转变。
- 6 min read 通俗易懂讲论文
Jev-Mem 详解:把记忆决策从大模型手里拿走
Jev-Mem 用 System-One 轻量控制器专职管记忆,System-Two 大模型只在复杂推理时介入;LoCoMo 基准 LLM-as-Judge 得分 0.777(比最强基线高 11%),记忆构建速度 6.6 倍,延迟降低 36.7%。
- 11 min read 通俗易懂讲论文
ScientistTwo 详解:24 个 AI Agent 自主完成科研全流程
Google + 滑铁卢大学 ScientistTwo:24 个专业化 Agent 组成流水线,自主完成读论文/找问题/做实验/写论文/同行评审全流程;107 个研究问题上 80.4% 成功率,平均相对 SOTA 提升 25.2%,通过 Stanford Agentic Reviewer 评审。
- 9 min read 通俗易懂讲论文
Self-Organizing Agent Teams 详解:让 AI 团队自己改写协作策略
斯坦福/Emory/TogetherAI 论文:AI 团队用 15 道 AIME 题目自己学会改写角色/讨论阶段/信息流动,协作通过三步流程(回顾/改写/冻结);AIME 准确率 66.7%,比最强单成员(48.8%)高 18 分,比完美路由器高 7.7 分。
- 7 min read 通俗易懂讲论文
SIFT 详解:让 LLM 当裁判,跑树搜索做自我改进
SakanaAI / MIT SIFT:用 LLM 担任两两比较的裁判 + Bradley-Terry 模型算实力分 + 解耦树搜索,Polyglot 从 30.7% 提升到 35.1%,成本只有 DGM 的 1/10;关键洞察:裁判质量决定系统方向。
- 8 min read 通俗易懂讲论文
SkillGym 详解:把人类技能变成可验证的训练环境
SkillGym 把人类技能指南转成 2756 个带代码验证的训练环境(覆盖 12 个类别),让 AI 真正把技能内化到模型权重里;Qwen3.5-35B-A3B 在 Terminal-Bench 2.1 上从 2.1% 提升到 21.2%,不加载技能上下文也跑赢带技能的基座模型。
- 7 min read 通俗易懂讲论文
Taste-Bench 详解:AI 的品味到底有多差
微软等机构 Taste-Bench:首次系统测量 AI 智能体在长周期任务分叉点上的方向选择能力;自动挖掘 12000+ 分叉选择题,最强模型准确率不到 60%(人类基线 90%);增加推理预算几乎无效,只能通过蒸馏教师判断来训练。
- 8 min read 通俗易懂讲论文
WFM 详解:Wiki 记忆的专用检索模型
腾讯优图 + Monash WFM(Wiki Foundation Model):把 Wiki 当作一张统一图,文本+链接不拆分,消息传递+注意力聚合,专为互相链接的 Markdown 文件夹训练;分布式训练 NCCL GPU 直连快 10.5 倍。
- 7 min read AI Agent
Jev 开源生态调研与复现手册
System One / Jev 的核心思想是让模型「做选择」而不是「生成文本」。本文梳理 JevLike、OpenJev、Laya、TypeSafe Snake、Jev Ultrafast 等 10 个开源项目的分层定位,给出三方模型对比、4 天复现路线和自建 Decision Runtime 的架构建议。
- 13 min read AI
Eval 设计与自动爬坡:为什么你的评测在骗你
评测设计的四条硬要素,加上自动爬坡的三条选面原则,能把一次客服任务的成本砍到五分之一。但留出集只挡得住「背例子」,挡不住评测本身采错——我用 40 行模拟跑了三种策略,虚报从 9.6 分压到 1.7 分。
- 11 min read LLM
SFT 数据流水线:从 Alpaca 到可训练的 batch
一条 SFT 流水线要串起五步数据准备、collate 打包和目标函数三件事。本文逐行走完 Alpaca 到 Trainer 的链路,并实测两处会在今天直接报错或静默少监督一位的细节。