把「不稳定测试排查」交给智能体,难点不在模型能力,而在流程是否说清楚:输入是什么(测试命令),按什么顺序处理,交付什么(不稳定测试清单与原因分析),哪些事不能做。Skill 就是把这些写下来的载体。

这篇是最短路径:不追求完美,只求在 10 分钟内让「不稳定测试排查」第一次跑通。

准备(2 分钟)

  • 一份真实但已脱敏的测试命令
  • 一个支持技能或自定义指令的智能体工具(如 Claude Code、Cursor、GPTs、扣子等任一)
  • 一份你认可的不稳定测试清单与原因分析范例(可选,但很有帮助)

第 1 步:写最小指令(3 分钟)

任务:不稳定测试排查
输入:测试命令
步骤:
1. 重复运行收集失败
2. 对比失败日志
3. 归类为时序、顺序依赖、外部依赖
4. 给出修复方向
输出:不稳定测试清单与原因分析,末尾列出需人工确认的内容。
信息不足时先提问,不要编造。

第 2 步:放到工具里(2 分钟)

把上面的内容放进所用工具的规则或技能位置:Claude Code 放进 .claude/skills/flaky-test-triage/SKILL.md(前面补上 name 与 description),Cursor 放进 .cursor/rules/,GPTs 放进 Instructions。具体位置见各平台版本的文章。

第 3 步:跑一次(2 分钟)

用一句自然语言发出请求,例如:

用不稳定测试排查技能处理这份测试命令,输出不稳定测试清单与原因分析。

观察智能体是否按步骤执行,输出结构是否符合预期。

第 4 步:修一处(1 分钟)

找出输出中最不满意的一点,只改对应的那一句指令,再跑一次。不要一次改很多处,否则不知道是哪处起了作用。

跑通之后

  • 用测试用例覆盖边界情况
  • 用检查清单确认上线前事项
  • 风险较低,但输出仍需快速过目再使用

准备一份好范例

在技能的参考资料里放一份你认可的不稳定测试清单与原因分析范例,往往比多写十条规则更有效。好范例应当:

  • 来自真实工作,但已去除个人信息和敏感数据
  • 体现团队习惯的结构、措辞和详略程度
  • 包含一处“需人工确认”的标注示范,让智能体学会如何表达不确定
  • 篇幅适中,不要比平时的产出长太多

范例不必多,一到两份即可;太多范例反而会让智能体机械模仿某一份的细节。

每一步要产出什么

把每一步的中间产出写清楚,智能体就不容易跳步,人也方便定位问题:

  1. 重复运行收集失败:产出一段简短的中间结果,并注明依据来自测试命令的哪一部分
  2. 对比失败日志:产出一段简短的中间结果,并注明依据来自测试命令的哪一部分
  3. 归类为时序、顺序依赖、外部依赖:产出一段简短的中间结果,并注明依据来自测试命令的哪一部分
  4. 给出修复方向:产出一段简短的中间结果,并注明依据来自测试命令的哪一部分

最后一步之后,再把这些中间结果汇总成不稳定测试清单与原因分析。中间结果可以折叠或省略展示,但在技能指令中要求智能体“先完成再汇总”,能明显减少遗漏。

领域注意事项

「不稳定测试排查」属于测试领域,使用者多是开发与测试工程师,工作环境通常是测试框架与 CI 流水线。这个领域最重要的一条底线是:生成的测试要先在本地跑通,别只盯覆盖率数字。

建议把这条底线原样写进技能的约束部分,而不是指望智能体自己意识到。同时,在团队内部明确:智能体给出的不稳定测试清单与原因分析只是初稿或建议,最终由谁签字确认、出了问题由谁负责。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。