把「不稳定测试排查」交给智能体,难点不在模型能力,而在流程是否说清楚:输入是什么(测试命令),按什么顺序处理,交付什么(不稳定测试清单与原因分析),哪些事不能做。Skill 就是把这些写下来的载体。

本文介绍如何在 GitHub Copilot 指令与提示文件 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目说明
技能不稳定测试排查(flaky-test-triage)
作用多次运行定位偶发失败的测试并分析原因
输入测试命令
输出不稳定测试清单与原因分析
形态带脚本
风险低
适用人群开发与测试工程师

处理流程分四步:

  1. 重复运行收集失败
  2. 对比失败日志
  3. 归类为时序、顺序依赖、外部依赖
  4. 给出修复方向

这个技能需要运行本地脚本(解析文件、调用命令行工具等),要求运行环境允许执行代码;风险较低,但输出仍需快速过目再使用。

在 GitHub Copilot 指令与提示文件 中是什么形态

GitHub Copilot 支持仓库级自定义指令文件 .github/copilot-instructions.md,以及放在 .github/prompts/ 下、以 .prompt.md 结尾的可复用提示文件,适合把固定流程交给 Copilot Chat 或智能体模式执行。

仓库级指令对该仓库的对话默认生效;提示文件需要在支持的编辑器中手动调用,具体支持情况以 Copilot 文档为准。

示例配置

.github/prompts/flaky-test-triage.prompt.md 示例(示意):

---
description: 不稳定测试排查
---

请对我提供的测试命令执行「不稳定测试排查」:

1. 重复运行收集失败
2. 对比失败日志
3. 归类为时序、顺序依赖、外部依赖
4. 给出修复方向

输出格式:不稳定测试清单与原因分析。
- 生成的测试要先在本地跑通,别只盯覆盖率数字。
- 信息不足时先提问,不要自行编造数据或事实。
- 脚本只在当前项目目录内运行,运行失败时报告错误原文,不要猜测结果。

示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在开发与测试工程师提出相关请求时能对上号;二是约束部分要写进「生成的测试要先在本地跑通,别只盯覆盖率数字」这类领域规矩,避免智能体自作主张。

安装与启用步骤

  1. 在 .github/copilot-instructions.md 中写入团队通用约定
  2. 新建 .github/prompts/flaky-test-triage.prompt.md 写入本技能流程
  3. 在编辑器的 Copilot Chat 中调用该提示文件
  4. 检查输出是否遵循步骤与格式
  5. 提交到仓库并在 PR 中说明用途

实操:一次完整的运行

假设你在测试框架与 CI 流水线中发出这样的请求(虚构示例):

用不稳定测试排查技能处理这份测试命令,输出不稳定测试清单与原因分析。

智能体识别到任务与「不稳定测试排查」相关后,会依次重复运行收集失败、对比失败日志、归类为时序、顺序依赖、外部依赖、给出修复方向。最终交付不稳定测试清单与原因分析,并在末尾列出需要人工确认的内容。你的工作是对照原始测试命令抽查两三处关键信息,确认无误后再使用。

测试与验收

在 Copilot Chat 中分别以有、无提示文件的方式处理同一任务,对比差异是否符合预期。

针对这个技能,还建议额外准备:

  • 一份信息齐全的标准测试命令,检查输出是否完整
  • 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
  • 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效

常见坑

  • 仓库级指令写得过细,与提示文件互相矛盾。
  • 以为提示文件会自动生效,实际需要手动调用。
  • 只写了步骤,没写交付格式,导致每次输出的不稳定测试清单与原因分析结构不同。
  • 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。