写代码的边际成本正在塌陷,「这份代码实现了我的意图吗」这个问题一点没变便宜。这篇整理自南京大学《生成式软件工程》2026 秋第 2 讲「提示词与上下文工程」(主讲:jyy),原始讲义。讲义是散文,没有代码;本文把它拆成三个可判定的问题,并把讲义里两道「可以逐项检查」的写作题写成断言实跑。
一、上下文工程管的是指令从哪来
我们习惯把给模型的输入叫作 prompt,中文称「提示词」。从语言模型续写文本的角度看,前面的文字既是开头,也是控制后续生成的条件;但进入聊天界面以后,用户更容易把 prompt 理解成对话框里的一条要求——这是一种来自产品界面的认知偏差。
讲义指出:对 Agent 来说,指令分散在很多地方。 至少包括:运行 Agent 的外围系统(harness)提供的系统指令与工具说明;仓库里的 AGENTS.md 可能约定的项目规则;加载的 skill 给出的特定任务方法;用户不断补充的目标;以及代码、文件、历史消息和工具返回。
这接回第 1 讲的形式化 Pr[token | context]:模型下一步做什么,受整份上下文影响,而不是只由最后一句话决定。
指令 vs 材料
这里出现本讲最重要的一组区分:指令和材料。讲义说,工具返回的一段文章可能是分析对象,并不因此拥有给 Agent 下命令的资格。
这条区分在工程上的最小表述就是上下文污染(context poisoning):只要 Agent 会读网页、读 issue、读用户粘贴的文本,任何一段恶意文本就可能以「材料」的身份进入上下文,并试图行使「指令」的权限。常规对策有三类——来源标记(区分 trusted/untrusted)、引用隔离(把材料放进明确的数据块而非指令块)、最小权限。第三类引出下一节。
二、提示词 ≠ 执行边界
讲义用一个具体问题钉死这件事:为什么有些命令执行前会询问用户,有些不会?
不能只从「模型觉得安全吗」来解释。讲义把这件事拆成三个环节——Agent 提出动作,外围程序还可能检查权限和审批规则,操作系统则执行实际的访问限制。按环节归类,也就是常说的三层:模型层、外围程序层、系统层。
- Agent 提出动作(模型层,可能只是「觉得安全」);
- 外围程序检查权限和审批规则(harness 层的权限与审批机制);
- 操作系统执行实际的访问限制(系统层的强制访问控制)。
讲义给出一句关键判词:提示词中的要求与程序中的机制一起决定行为;一句「请遵守规则」,并不等于已经实现了一个可靠的执行边界。
这三层可以写成一个最小实验。下面这段代码把三层并排跑:提示词里明确要求「不要在这个目录里写文件」,harness 的 allowlist 也放行,真正拦住写入的是操作系统给目录设的权限位。
# -*- coding: utf-8 -*-
"""三层执行边界:提示词说「不要写」,谁真的拦住了?
第一层 提示词:一句要求,只是模型读到的文字
第二层 外围程序:审批与权限规则,可以批准也可以拒绝
第三层 操作系统:文件权限位,模型绕不过去
"""
import os
import tempfile
REQUEST = "请不要在这个目录里写文件" # 第一层:提示词里的要求
def harness_allows(path, allow_prefix):
"""第二层:外围程序的审批规则(本例只有一个 allowlist)。"""
return os.path.abspath(path).startswith(os.path.abspath(allow_prefix))
with tempfile.TemporaryDirectory() as tmp:
protected = os.path.join(tmp, "protected")
os.mkdir(protected)
os.chmod(protected, 0o555) # 第三层:操作系统强制 r-xr-xr-x
victim = os.path.join(protected, "note.md")
print("提示词要求:", REQUEST)
print("harness 允许写入:", harness_allows(victim, tmp))
try:
with open(victim, "w", encoding="utf-8") as fh:
fh.write("x")
print("OS 允许写入: True")
except PermissionError:
print("OS 允许写入: False")
os.chmod(protected, 0o755)提示词要求: 请不要在这个目录里写文件
harness 允许写入: True
OS 允许写入: False输出把三层分得很干净:提示词提了要求,harness 也批准了,最后拦住写入的只有操作系统。这正是讲义那句判词的机械形态——如果只做前两层,模型绕一圈仍然能写进去;真正可靠的边界必须落在系统层。
反过来也成立:光有系统层的限制而不给模型任何提示,模型会反复撞墙还不知道撞的是权限,不是指令。能自动检查的要求,尽量落到代码和验证结果上——这句话在这里有了一个可执行的版本。
三、写清楚「完成」是什么
讲义从一个反差开始:模型具有很强的指令遵循能力,但首先要有值得遵循的指令。 上下文中的要求越明确、越容易验证,模型越有机会判断自己距离目标还差什么;反之,不明确的要求可能让它很早就认为已经完成。
第一个例子是「一句话生成极品飞车」:可以产生很漂亮的演示,但你心里想的,可能是有真实地图、特定美术资产、某种驾驶手感的赛车游戏。讲义给出一个精确诊断:它未必在任何一步明显违背了指令,却在一连串默认选择之后,做出了另外一个产品。
完成的第三方可判定性
讲义给出一个实用的检查办法:让另一个人只看要求和最终产物,能否判断任务已经完成?
对照两句话:「做得专业一点」很难判定;「页面首先展示研究方向和近期工作,手机上无需横向滚动,所有项目入口都能打开」就提供了可以检查的行为。不能完全机械判断的品味,讲义说可以通过示例、对比和反馈逐步说明。
这条判据比「写清楚指令」更可操作,因为它给出了验收的归属:完成与否不由模型自己宣布。
完成的语义还包括失败。 如果关键条件无法验证,合理的结果应当是报告哪里没完成、缺少什么证据,而不是交出一段肯定的总结。讲义指出,只有把这些状态说清楚,Agent 才能更可靠地决定继续尝试,还是需要新的信息——这就是给 Agent 的「求助」协议。
形式检查能覆盖多少
讲义用三道故意刁难人的写作题,把「可逐项检查」和「需要更丰富判断」摆在一起。第一题:写八句中文诗,句首依次是「计算机学院真牛逼」,讲一个与动物相关的故事,「二零二六九月一日」八个字还要依次出现在八句中,并且押韵。讲义说藏头、字数、指定字和读音可以逐项检查,通顺、趣味和文学性则需要更丰富的判断。
讲义没有给出检查代码,但「可以逐项检查」这句话本身是可以被兑现的。下面把它写成断言实跑:
# -*- coding: utf-8 -*-
"""把「藏头 + 嵌字 + 押韵」这条可形式化的约束写成可执行的检查。
讲义说藏头、字数、指定字、读音「可以逐项检查」,但没给检查代码。
这里把它补上,并顺带把「哪些能自动判、哪些不能」分开。
"""
POEM = [
"计成二兔越山冈",
"算到零时雪满塘",
"机警狐衔二袋粮",
"学随六雁辨风向",
"院中九犬忽声扬",
"真到月明逢恶狼",
"牛守一夜迎晨光",
"逼得日升狼遁荒",
]
ACROSTIC = "计算机学院真牛逼"
EMBED = "二零二六九月一日"
# 每个句尾字的普通话韵母(用于检查押韵)
RHYME = ["ang", "ang", "ang", "iang", "ang", "ang", "uang", "uang"]
heads = "".join(line[0] for line in POEM)
print("① 藏头:", heads, "| 目标:", ACROSTIC, "| 一致:", heads == ACROSTIC)
print("② 嵌字(第 i 句须含 EMBED[i]):")
hit_all = True
for i, (line, ch) in enumerate(zip(POEM, EMBED), 1):
pos = line.find(ch)
hit_all = hit_all and pos >= 0
print(f" 第{i}句 需含 {ch!r} -> 第 {pos + 1} 字;句尾 {line[-1]!r}")
print(" 全部命中:", hit_all)
tails = [line[-1] for line in POEM]
print("③ 句尾连读:", "".join(tails))
print(" 韵母:", " ".join(f"{t}-{r}" for t, r in zip(tails, RHYME)))
odd = [t for t, r in zip(tails, RHYME) if r not in ("ang", "uang")]
print(" 韵母不是 -ang/-uang 的:", odd)① 藏头: 计算机学院真牛逼 | 目标: 计算机学院真牛逼 | 一致: True
② 嵌字(第 i 句须含 EMBED[i]):
第1句 需含 '二' -> 第 3 字;句尾 '冈'
第2句 需含 '零' -> 第 3 字;句尾 '塘'
第3句 需含 '二' -> 第 5 字;句尾 '粮'
第4句 需含 '六' -> 第 3 字;句尾 '向'
第5句 需含 '九' -> 第 3 字;句尾 '扬'
第6句 需含 '月' -> 第 3 字;句尾 '狼'
第7句 需含 '一' -> 第 3 字;句尾 '光'
第8句 需含 '日' -> 第 3 字;句尾 '荒'
全部命中: True
③ 句尾连读: 冈塘粮向扬狼光荒
韵母: 冈-ang 塘-ang 粮-ang 向-iang 扬-ang 狼-ang 光-uang 荒-uang
韵母不是 -ang/-uang 的: ['向']三件事被自动判掉了:藏头完全对上,八个指定字全部命中且大多落在第 3 字,韵脚只有一个「向」是 -iang 而非 -ang/-uang——讲义说的那处「不完全相同」,正是这个「向」。
顺便纠一处容易顺口说错的细节:指定字并不在句尾。八句的句尾连读是「冈塘粮向扬狼光荒」,指定字「二零二六九月一日」出现在各句的第 3 字(第 3 句在第 5 字)。如果照「每句末字依次为某个序列」去写断言,检查会全部落空——这也是「约束要按题面原样写」的一个实例。
但代码也划出了边界:押韵只查了韵母,「向」与「冈」的韵腹其实相同(都是 a 收尾),差在 -iang 与 -ang 的头韵;而「是否押韵」在中文里是听感判断,韵母相同并不等于韵律和谐。通顺、趣味、文学性这三项,断言一行都判不了。 讲义的结论在这里得到了精确的边界:形式检查通过,只说明模型能搜索并修补一个多约束解,形式检查没有覆盖的质量,并不会自动出现。
第二道题要求一句话有十八个汉字、全部带相同偏旁。讲义指出「都含三点水」和「词典中都归为同一部首」是两个不同的要求——要交给程序验收,就得先决定检查的是哪一个。第三道题要求所有字同音,立刻暴露出「同音」是否要求声调也相同的选择。
这三道题其实在做一件事:把「判断标准本身的确定性程度」摆到台面上。约束越接近形式化,Agent 越可靠;越靠品味和听感,成功率上限越低。
四、上下文里的规则,也会争夺注意力
讲义先讲规则的正面作用:把要求写进上下文,可以让模型在生成过程中反复利用它。 比如项目约定使用中文,或者提交信息不添加某种署名,模型就有机会在相关时刻纠正自己的输出。
但立刻加上限定:「在上下文里」并不保证「每次都会正确遵循」。
讲义给出一个很具体的副作用案例:你说「白色背景,不要半透明效果」,模型可能把这句话变成代码里的注释:// 白色背景(不要半透明效果)。诊断很精辟:它完成了背景设置,却也把原本只用于沟通的要求带进了产物——沟通语言污染了交付物。
于是一个看似合理的修补办法出现了:再加一条永久规则,禁止把用户要求写进注释。但讲义指出这条路走不通:每遇到一次问题就增加一条规则,上下文会越来越长,约束之间也越来越难协调。这不是免费的增强。
更合适的做法是分层:
- 项目层面留下真正稳定的约定(长期适用的简短规则);
- 特定任务的方法按需加载;
- 能够直接检查的要求,则尽量落到代码和验证结果上。
白色背景可以由具体样式和渲染结果确认,不必依靠越来越长的自然语言劝诫。
讲义把这一节的结论压成一句关于取舍的话:上下文工程因此也包含取舍——删去一段无关说明,有时和增加一条关键要求同样有效。模型需要的不是尽可能多的文字,而是此刻做决定时用得上的信息。
五、为什么大仓库有时比空项目更容易
讲义从一个反直觉的观察开始:从零做一个看起来不难的产品,AI 可能在某个时间点开始不断翻车;进入一个成熟的大型系统,反而能够完成相当复杂的修改。
从上下文的角度解释这个差别:成熟代码库已经做出了许多决定——怎样命名,模块如何分层,错误怎样传播,测试放在哪里。Agent 在解决局部问题时,可以学习附近的例子,沿着现有结构补充实现。关键洞察是:代码量虽然大,当前任务需要自由选择的事情却可能更少。
空项目恰好相反:没有已有结构约束选择,每次局部实现都可能顺手做出一个长期设计决定。如果最初就形成了混乱的惯例,后续生成又以这些惯例为上下文,AI slop 就会不断叠加。
代码库本身也是提示词。
讲义补充了这个双向性:它会示范怎样做,也可能示范怎样把问题继续藏起来。
它随即划出边界:这里不能推出「大仓库一定好改」,或者「模型会自动认出最佳实践」——它也可能模仿历史包袱。讲义还提出一个未经实验验证的猜测:给 Agent 看一个相近领域、设计优雅的成熟系统,再让它实现自己的需求,能否提高质量?可操作的实验设计是给同一任务设置无参考、完整参考和精选参考三种条件,比较实现后的修改代价与缺陷,而不仅仅看第一版能否运行。讲义的定性是:这个猜测值得做实验,但还不是结论。
六、Token 花完了,研究为什么还没有推进
讲义先肯定长程编程任务的能力:模型在遇到错误后仍能继续——修改、构建、测试、观察,再修复。这个闭环依赖反馈:测试失败提供具体方向,编译器报错指出局部问题。
但讲义给出一个重要的反面:把任务交给更强的模型、投入更多 token,并不保证任何长程问题都会收敛。 课堂讲了一个研究失败案例:希望优化一个符号执行引擎,已经有一个初步想法,于是把想法和 benchmark 一起交给 Agent,花了很多 token,最终没有得到结果。
讲义明确标注了证据强度:原稿没有给出已经查明的失败原因,因此这里能做的是提出待检验的解释。
第一个可能的解释是:总 benchmark 分数提供的反馈太粗。 「没有变快」被拆成一串候选原因:主要时间花在求解器里?路径搜索策略有问题?缓存没有起作用?还是修改引入了新的开销?讲义的逻辑是:如果这些因素混在一起,下一步应该试什么就很难判断。
第二个可能的解释是目标设定错误:任务把「把这个想法实现好」当成了目标,但研究真正需要回答的,可能是「这个想法是否成立」。讲义给出一句有分量的话:如果原始假设就不对,继续完善实现也不会带来期待中的进展。一个能否定原想法的实验,有时比更多代码更有价值。
由此得到一个更有用的研究起点:
- 先测量主要瓶颈;
- 把想法写成一个可以被实验推翻的预测;
- 再构造能够快速反馈的小实验;
- 确认局部机制确实有效以后,才把它放回完整系统,检查收益是否仍然存在。
讲义对「推进」给出一个更宽松的定义:研究中的「推进」可以是缩小未知,也可以是排除一个方向;不能只把它定义成最终分数必须上涨。
这一节和第三节的「完成语义包含失败」是同一件事的两面:一个不能自证成功的任务,连「失败了」都要能被明确表述,否则下一轮根本不知道该试什么。
七、人应该盯住哪些地方
讲义从一个反直觉的经验切入:既然人了解领域,随时干预是否最好?课堂给出的经验恰好有点反直觉——我知道怎样让某个任务更快完成,却越来越少干预了。
原因在于:单个任务的完成时间与一天能完成的任务总量,是两个不同目标。 如果 Agent 走一点弯路最后也能完成,我可以把注意力移到另一件事上——机器多花一些时间,换回人的时间,整体产出反而增加。
这种取舍的边界是三重的:接口已经看过、结果可以检验、实现出了问题能够替换,这时可以让 Agent 自己探索。相反,一个会扩散到许多模块的接口决定,一个昂贵或难以恢复的动作,就更值得提前关注。讲义给出原则:人的注意力应当按照决策影响和返工代价分配,而不是平均撒在每一行代码上。
讲义还指出一个与长任务相关的重要现象:长任务会不断产生日志、补丁和工具输出。上下文能容纳这些材料,不代表模型在每个时刻都能同样有效地使用它们。 课堂观察到:随着上下文增长,指令遵循可能下降,而最近的要求或刚加载的方法往往更容易被执行。 具体表现取决于模型和任务,但工程上可以主动缩短关键要求到关键决定之间的距离。
三条具体做法:① 在阶段切换时重新确认目标、接口和未决问题;② 把能检查的不变量落实成测试;③ 让错误在继续传播之前暴露。此外,上下文压缩也要保存当前约束和证据,而不只是把过去发生的事情写成流水账。
八、在不确定性中探索
讲义对本讲前半段做了一次反转:到这里,我们一直在讨论怎样把任务说清楚。但许多有价值的任务,本来就没有确定路线。我们希望 AI 帮助探索,而不仅仅执行已经写好的计划。
讲义指出一个常见做法的失效模式:「帮我考虑几种方案」通常有效,却可能过早结束。 模型给出几个听起来合理的答案,已经满足了「几种」的数量要求;更有意思的方案,也许仍在它没有走到的方向里。 讲义随即给出一个精确的区分:多沿一条思路想一会儿,与主动探索更多不同思路,是两种不同的算力使用方式。
讲义用取名字作例子:给一个蒋姓的小孩取好听、又有寄托的名字。如果直接要几个答案,模型可能给出自己偏好的高概率组合;许多家庭同时询问,又可能迎来 AI 时代的新一代「子涵」。
扩大探索的方法:先划分空间——从典故、音韵、方言、时代感等不同角度生成候选,再检查出处、谐音、书写和个人偏好;让不同 Agent 独立提出候选或负责挑错,最后再汇总。判断探索是否真实有效的标准:关键在于它们是否看了不同方向、提出了不同问题,而不在于开了多少个看起来相同的窗口。
但讲义强调这里仍然离不开人的判断:「给更多名字」解决的是候选数量,「哪些名字值得留下」则需要评价标准。没有分辨率的筛选,可能只是把一个平庸答案变成一百个平庸答案。探索空间与评价方法应当一起设计。
讲义最后把视角扩展到人类社会:每个人的教育背景、生活圈和经历都有限,都带着偏向;与舍友讨论、去会议上听别人怎样提出问题,价值往往来自发现自己的默认前提。交流之后,每个人仍有自己的偏向,但它已经被新的经验改变。讲义借「世界很大,人很小」的视角提醒我们,没有人能独自穷尽所有可能,群体的价值可以来自不同的局限相互补充。把这个思想带回 Agent:增加计算资源时,应当考虑怎样增加探索的差异,而不是只增加同一种思路的重复次数。
讲义还抛出了一个令人不安的未来问题:如果计算资源能够持续转化为探索能力和判断能力,拥有大量算力的人或组织,会不会获得远超普通人的智力资源?讲义用「墙里面是超人,墙外面是动物世界」表达这种担忧,并明确标注:这是对未来可能性的追问,并非已经发生的终局。
九、它不解决什么
这一讲没有触及的问题:
- 它不解决模型能力的上限。 上下文组织得再好,也不能把一个做不到的任务变成做得到。第三节的藏头诗里,断言能验证约束是否满足,却不能产出一首好诗。
- 它不替代反馈。 讲义第六节讲得很清楚:闭环依赖测试失败、编译器报错这类具体反馈。上下文再精确,没有反馈来源,Agent 只能在一个没有信号的地方反复打转。
- 它不让人变得不重要。 讲义反复出现的是人的方法论在起作用:定义完成标准、决定注意力投向哪里、区分探索方向。如果这些判断外包出去,剩下的只是等待。
FAQ(六、常见问题)
上下文工程和提示词工程有什么区别?
提示词工程关注一句话怎么写;上下文工程关注模型做决定时能看到什么——哪些是目标,哪些是约束,哪些是证据,哪些只是过时的过程记录。后者的范围大得多,因为对 Agent 来说指令本来就分散在 harness、AGENTS.md、skill 和代码里。
写清楚完成标准,模型就能自己判断做完了吗?
不能保证,但会显著提高可能性。讲义说要求越明确、越容易验证,模型越有机会判断自己距离目标还差什么。真正的保障来自第三方可判定性:让另一个人只看要求和产物就能判断。加上「完成的语义包含失败」——无法验证时报告缺什么证据,Agent 才能决定继续尝试还是需要新信息。
既然提示词不等于执行边界,那在提示词里写规则还有意义吗?
有意义,但要放对位置。提示词里的要求能引导模型在生成过程中反复利用(比如约定用中文、提交信息不加署名),这层不可替代。但拦住行为这件事必须落到外围程序和操作系统上。讲义的分层建议是:项目层面留稳定约定,任务方法按需加载,能直接检查的要求落到代码和验证结果上。
「第三方可判定」和「自动化测试」是一回事吗?
接近但不等同。第三方可判定是判据:只看要求和产物能否判断完成。「做得专业一点」不可判定,「页面首先展示研究方向和近期工作,手机上无需横向滚动,所有项目入口都能打开」可判定——但后者能否自动检查,还要看有没有对应的检测手段。品味类的要求往往只能通过示例、对比和反馈逐步说明。
延伸阅读
- 上一篇:意图、规格与实现之间的缺口 — 本讲第一节的
Pr[token | context]形式化,以及「局部性」判据都出自那一讲 - 相关:Agent Native 开发:为智能体设计工作环境 — 讲义说的 harness 层,在工程上具体长什么样
- 相关:软件质量保障:错误如何传播与暴露 — 「把能检查的不变量落实成测试」在质量保障那一讲的展开