Claude Code 团队如何看待验证

目录
  1. 并非所有测试生而平等:值得投入的三类测试
  2. Claude Code 团队如何看待验证
  3. 好测试,好结果

在 Claude Code 团队,我们的代码绝大部分(约 90%)由 Claude 编写并审阅。到了这个规模,如何让我们的智能体具备用证据验证自己工作的能力,就变得极其重要。

验证循环是让你能把更多工作交给 Claude 的基础构件。没有它,你一次其实只能跑一两个 Claude,因为每件事都得自己检查。有了它,你就可以并行跑几十个、甚至上百个。

这是因为,给智能体一种验证输出的方法,是提升质量的有效途径。在围绕结构化文件生成的内部测试中,让一个独立的评分器按评分标准检查 Claude 的工作,相比标准的提示循环,任务成功率最多提高了 10 个百分点,而且在最难的问题上提升最大。

过去验证起来成本很高的东西(测试、基准、规格说明、真正的端到端运行),现在向智能体要一份就很便宜。和写代码一样,智能体可以快速生成测试、基准和规格说明。而且一旦生成,这些测试和基准会作为软件来运行,因此可以频繁执行,而不必消耗太多额外的 token。

你还可以用验证结果来改进智能体在该任务上的表现,从而把验证循环闭合。例如,如果智能体反复通不过一项检查日志里是否有用户数据的测试,你可以创建一个 hook,或在 CLAUDE.md 里写一条更明确的规则,以避免以后再出问题。这(基本上)能阻止同样的问题再次发生。

因此,如果验证对于既要质量、又要速度地产出代码至关重要,你该使用哪些类型的测试,又该如何把它们用到整条流水线中?本文会回答这些问题,并分享 Claude Code 团队实际采用的做法。

并非所有测试生而平等:值得投入的三类测试

无论选择哪类测试,都有几种失败模式需要避开。

如果测试不稳定(flaky),你会把智能体训练成「再跑一遍」,而不是去修失败的代码。如果测试很慢,智能体在各批次里会少跑一些测试,问题就更难定位。较重的测试最好在提交改动之前运行。

下面是我认为最值得投入的三类测试。

端到端测试(E2E)

如果只能专注一类测试,就选端到端。这类测试描述的是真实用户流程,比如把商品加入购物车、结账,然后进入确认页。

端到端测试之所以这么有效,是因为它们很难被糊弄——要么整个功能是好的,要么就不是。它们也有明确的完成标准,并能具体告诉你哪里坏了。

单元测试失败与端到端测试失败的对比。左侧:checkout.test.ts 只显示 “FAIL checkout.test.ts / Error: Timeout after 30s”,图注为 “Shooting blind. No step, no trace.” 右侧:checkout.spec.ts 显示步骤追踪(Register、Add item to cart、Checkout failed、See confirmation page not reached)、shop.example/checkout 的截图(“Payment form failed to load”,以及禁用的 “Place order” 按钮),以及 “What step failed: Checkout: ‘Place order’ stayed disabled because the payment form never loaded”,图注为 “Screenshots, trace, and a description of what step failed.”

图 A:单元测试也许只会显示 “Error: Timeout after 30 seconds”,但端到端测试可以给出截图,并说明哪里坏了。

单元测试更快、也不那么容易不稳定,但有可能测试都过了,功能却还是坏的。这是因为智能体和测试都没有理解完整的任务。

做端到端测试时,有效的做法是让智能体对真实运行中的系统既有「手」也有「眼」。你可以用一个 skill 来启动、驱动并检查应用,所用的工具可以是 CDP、模拟器或 API 测试框架。

功能地图可以当作智能体的指南和评分标准,因为它通常会从用户视角列出各项功能,并说明路径、键盘快捷键、选择器和预期结果。

属性测试:不可打破的约束

很多测试基于你以为可能出错的地方。属性测试关注的是人们容易漏掉的边界情况,而智能体也常常在这些地方失败。

你先写出一条自认为不可能失败的命题,然后用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成成千上万组输入,试图证明它不成立。

几乎每个软件项目里都有许多这样的属性,例如:

  • 往返编码:「先把 X 编码,再解码回来,应该还是 X。」这对解析和序列化同样适用。
  • 不变量:必须始终为真的事情,比如「账户余额永远不能变成负数。」
  • 幂等性:把一个操作(迁移、规范化、重试)做两次,效果和做一次相同。
  • 等价性:优化后的代码与朴素但正确的代码产生相同的结果。

属性测试库很适合用来让智能体保持诚实,因为它们使用的边界情况,并不是用编写原代码的那个智能体带有的同一套偏见造出来的。在重写场景里它们也特别有用:当规格说明已经偏离了生产环境中的实际行为,不再是可靠的验证依据时。

差分测试:以旧系统为基准(oracle)

差分测试在功能理应保持不变的大规模迁移场景里特别有效。做这类测试时,你用相同的输入同时跑旧系统和新系统,看结果是否不同。如果不同,就说明有缺陷或破坏性变更需要修复。

差分测试的关键是使用随机生成的输入,或生产流量的样本。你还需要把空白之类无关因素做归一化,并维护一份已批准变更的清单,以覆盖新环境本就应该和旧环境不同的情况。

Claude Code 团队如何看待验证

我们之前写过Anthropic 的代码审阅是如何运作的,但本文希望更深入地谈我们如何验证自己的工作。

验证意味着把改动真正跑起来

把应用从头到尾跑一遍,比测试本身更重要。你不会在模拟器里试都没试过,就把 iOS 改动发出去,对 Claude 也是一样。

Claude 可以像人或 QA 工程师那样测试整个应用。网页改动可以让它用 Claude Chrome 扩展,移动端用 iOS 或 Android 的 MCP,桌面端用 computer use,后端工作则让它在本地把服务跑起来。

要把如何启动模拟器或运行应用写成可执行的规范,可以创建一个名为 verify 的 skill。把它放在仓库的 .claude/skills/ 目录里,尽量靠近相关代码,需要多少就加多少。Claude 知道在提交改动之前要使用这个 verify skill。

然后投入精力,让这个 verify skill 又快又可靠。让 Claude 迭代改进它,并做压力测试。它就是你的冒烟测试框架,必须非常扎实。

当你让 Claude 能够对自己的改动做端到端的冒烟测试时,结果会好得多。你会看到它像人一样迭代,更快抓住真正的错误。在 Anthropic,我们几乎所有改动都是这样测试的。

失败的测试需要人工介入

没有人能读完每一处改动,所以我们用失败作为判断「哪些需要人来看」的一种方式。Claude 会跑这些检查,并尝试修复任何失败的项。如果一项检查在三轮之后仍然失败,Claude 就会停下来,把人请来。

代码负责人编写自己的检查

代码的负责人自己为它编写检查,并不断打磨,直到检查能标出负责人本人会标出的问题。当一项检查把审阅者拉进来时,它应该说明原因,这样审阅者就不必自己从 diff 里推断。

可靠性检查由 diff 触发

我们维护着一份有 39 项的可靠性检查清单,每一项都有一个可以从 diff 里读出的触发条件、一项检查,以及它背后的事故或 PR。其中一项是「–resume 能加载旧的会话记录」。当会话存储或消息类型发生变化时,我们会问:新字段能否安全加载,因为旧的会话记录里不会有这个字段。

Claude 会阅读 diff,并且只检查触发条件匹配的项——通常是 3 到 10 项——这样就没有人必须把过去的故障都记在脑子里。

一名审阅者,多轮审阅

我们不会靠叠更多审阅者来改进审阅。在主要审阅者之上再加一个更贵的审阅者,往往还不如把主要审阅者调校好。我们会用一份 REVIEW.md,写明审阅者对这份代码应该关注什么。

我们也认为,审阅和验证的各轮之间应该相互承接。每一轮都会指向更早几轮和以往失败中的上下文,而不是从头把所有东西再查一遍。这样更省成本,也能发现更多问题。

改动不能修改评判自己的检查

如果一项改动能够修改评判它的那项检查,这检查就失效了。Code Review 会从 base 分支或默认分支读取 REVIEW.md,绝不会从该 pull request 的改动里读。Claude Code 团队会确保,那些为改动设门禁的规则,处在改动无法修改的分支上。

Claude Code 团队也只对已经确定的 commit 做审阅。如果审阅进行时还有人在推送,审阅结果就不再有用。对一份已经过时的 commit 给出「通过」,毫无意义。

团队还会先跑成本低的检查。如果智能体还没在本地测试就推送,它就占用了共享的审阅和 CI 时间,而本来自己就能抓住这个缺陷。在我们团队,Claude 会在开设 pull request 之前先跑测试、构建和 linter。你可以用一个在 Claude 结束时运行测试的 hook 来强制这一点,或设一个测试套件必须通过的 /goal。

新门禁先从观察模式开始

在我们自己的仓库里,我们会给每个 commit 打上它是如何被验证的标记。这个标记甚至包括 “none”,这样我们就能查出哪些 commit 没有经过验证。

我们还做了一个提交门禁:如果该会话里没有出现 /code-review 或 /verify,就可以拦住这次提交。它有关闭(off)、观察(observe)和强制(enforce)三种模式。

观察模式会记录本来会被拦住的提交,这样我们就可以审查误报,并确保没有人受到影响。

强制模式会拦住提交。任何 commit 都可以在提交说明里解释它为什么没有经过验证。如果同一会话里已经被拦住两次,下一次会被放行,以免 Claude 卡住——Claude Code 并非完美。

用真正重要的事情来检验你的检查

Claude Code 团队也会定期审阅这些「审阅者」。我们会跟踪有多少已合并的改动后来被回滚、有多少改动在合并前被维护者拒绝,以及一组规模匹配、一直保持干净的改动子集。

这也可以用正式的评测来做。在我们的代码审阅文章里,我们介绍过 Code Review 团队如何基于以往事故和回滚建立评测。对每个样本,他们会把仓库恢复到当时审阅时的状态,并提供一句标准答案,说明那个缺陷是什么。只有正确描述了该缺陷的发现才得分。他们用已合并且稳定的改动作为对照,以防止过度标记。调参集和用来评估系统的固定测试集是分开的。

他们还分别评估了原始发现、验证之后,以及最终审阅的召回率。这样就能看出系统是否把已经找到的缺陷又弄丢了。如果把这些全部当成一个端到端分数来评测,就抓不到这种细微差别。

除了是否成立,我们还关心另一个维度:做出这项修改有多重要。好的审阅者会抓住大多数技术上确实成立的问题,但人们真正在意的是,某个缺陷是必须修、应当修,还是只是 nit(细枝末节)。

Code Review 正好有这个概念,它会把问题标为 Important、Nit 或 Pre-existing。”pre-existing” 标签的意思是,审阅者不应当让作者为已经存在的缺陷负责。

最后,Claude Code 团队会把召回率调到这样一个临界点:再往上提升,就会变成对评测集过拟合,而不是真正在抓住缺陷。

把漏检变成规则

在 Claude Code 的仓库里,我们有两种方法把漏掉的案例变成规则。第一种是从人工代码审阅评论和 PR 回滚中提取模式,以识别常见问题。这些问题必须至少在两个 PR 中出现,并且能从 diff 中识别出来,才考虑作为潜在规则。会有三个智能体尝试证伪它们,然后由人在 PR 中审阅并批准。

第二种方法是,针对与已知事故相关的 PR,回放三个找缺陷的智能体。如果至少有两个找到了这个缺陷,它就是可被检测到的缺陷。如果缺陷在很小的 diff 上被漏掉了,这就是一个值得写进 REVIEW.md 规则的缺口。

不稳定的测试也按同样的方式处理。Claude 不能跳过它们、加 sleep,或重试直到通过。如果找不到根因,它就删掉这个测试,并写明原因。

规则也需要清理。测试套件、验证步骤和 .md 文件,你要是放任不管就只会越积越多,所以我们会定期整理。

好测试,好结果

我们发现,给智能体一种带着强反馈循环来验证自己工作的方法,会带来决定性的差别。要把验证层当作和其他系统一样来对待。让它处在所评判的改动够不着的地方;用对你真正重要的那些缺陷来给它打分;当它漏掉什么时把教训写下来,以免同样的事发生第二次;再修剪这些教训,让它们始终值得继续运行。

做到这些,你的工作就会从阅读每一处 diff,转向定义「完成」是什么样,并审阅证据——而这正是让你能同时运行许多个 Claude 的原因。

原文作者:Addy Osmani
原文链接:https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/

0 条评论,30 次阅读

继续阅读