如果你在测试框架与 CI 流水线里反复做不稳定测试排查,可以考虑把经验沉淀为一个 Skill:写清触发条件、步骤、输出格式和边界,让智能体代劳重复部分,人只负责把关。

单个技能解决一个环节,把几个技能串起来,才能覆盖一整段工作。本文示范「不稳定测试排查」与三个相关技能的组合。

组合方案

顺序技能作用交给下一步的东西
1覆盖率缺口分析读取覆盖率报告,找出关键但未覆盖的分支并补测试缺口清单与新增测试
2不稳定测试排查多次运行定位偶发失败的测试并分析原因不稳定测试清单与原因分析
3回归用例挑选根据改动范围挑选需要执行的回归用例回归用例清单
4无用代码排查找出未被引用的函数、文件与依赖,给出可删除清单而不直接删除疑似无用代码清单与依据

交接格式是关键

技能之间靠“上一步的输出就是下一步的输入”衔接。建议约定:

  • 每个技能的输出都带固定标题,便于下一个技能定位内容
  • 不确定项统一放在“需人工确认”小节,后续技能不得把它当作确定事实
  • 「不稳定测试排查」接收的是测试命令,如果上一步给的格式不同,先做一次转换

怎么编排

有三种常见方式:

  1. 人工串联:每一步结束后由人确认,再触发下一个技能,最稳妥
  2. 编排指令:写一个总技能,列出调用顺序与交接要求,由智能体依次执行
  3. 工作流平台:在 Dify、扣子、n8n 等平台中把每个技能做成节点,用条件分支处理异常

编排指令示例(示意)

# 组合流程:覆盖率缺口分析 → 不稳定测试排查 → 回归用例挑选 → 无用代码排查
1. 调用 test-coverage-gap,保存输出为 step1
2. 以 step1 为输入调用 flaky-test-triage,保存为 step2
3. 以 step2 为输入调用 regression-suite-picker
4. 调用 dead-code-finder 做收尾
- 任一步出现“需人工确认”时暂停,等待用户回复后再继续

注意事项

  • 链条越长,错误越容易被放大,关键节点要有人看
  • 风险较低,但输出仍需快速过目再使用
  • 每个技能单独测试通过后再组合

相关技能

智能体与人的分工

技能不是把工作全部交出去,而是把重复、机械的部分交给智能体,人把住判断和责任:

步骤智能体负责人负责
重复运行收集失败按指令完成并给出依据抽查关键处,确认无误
对比失败日志按指令完成并给出依据抽查关键处,确认无误
归类为时序、顺序依赖、外部依赖按指令完成并给出依据抽查关键处,确认无误
给出修复方向按指令完成并给出依据抽查关键处,确认无误
最终交付整理不稳定测试清单与原因分析决定是否采用、是否对外

风险较低,但输出仍需快速过目再使用。

准备一份好范例

在技能的参考资料里放一份你认可的不稳定测试清单与原因分析范例,往往比多写十条规则更有效。好范例应当:

  • 来自真实工作,但已去除个人信息和敏感数据
  • 体现团队习惯的结构、措辞和详略程度
  • 包含一处“需人工确认”的标注示范,让智能体学会如何表达不确定
  • 篇幅适中,不要比平时的产出长太多

范例不必多,一到两份即可;太多范例反而会让智能体机械模仿某一份的细节。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。