如果你在测试框架与 CI 流水线里反复做覆盖率缺口分析,可以考虑把经验沉淀为一个 Skill:写清触发条件、步骤、输出格式和边界,让智能体代劳重复部分,人只负责把关。

本文介绍如何在 OpenAI Agents SDK 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目说明
技能覆盖率缺口分析(test-coverage-gap)
作用读取覆盖率报告,找出关键但未覆盖的分支并补测试
输入覆盖率报告
输出缺口清单与新增测试
形态带脚本
风险低
适用人群开发与测试工程师

处理流程分四步:

  1. 运行覆盖率
  2. 按业务重要性排序未覆盖代码
  3. 补充测试
  4. 复跑确认

这个技能需要运行本地脚本(解析文件、调用命令行工具等),要求运行环境允许执行代码;风险较低,但输出仍需快速过目再使用。

在 OpenAI Agents SDK 中是什么形态

OpenAI Agents SDK 是一个轻量的智能体开发框架,用 Agent 定义指令与工具,用 function_tool 把 Python 函数变成工具,用 Runner 运行,还支持多智能体交接与护栏。

代码运行在你自己的环境中,可接入日志与追踪;具体的包名、版本与模型配置以官方文档为准。

示例配置

# 示意代码:OpenAI Agents SDK(pip 包名与接口以官方文档为准)
from agents import Agent, Runner, function_tool

@function_tool
def load_test_coverage_gap(path: str) -> str:
    """读取覆盖率报告并返回文本。"""
    with open(path, encoding="utf-8") as fh:
        return fh.read()[:20000]

agent = Agent(
    name="覆盖率缺口分析",
    instructions="""
1. 运行覆盖率
2. 按业务重要性排序未覆盖代码
3. 补充测试
4. 复跑确认
输出:缺口清单与新增测试。不确定的内容标注“需人工确认”。
""",
    tools=[load_test_coverage_gap],
)

result = Runner.run_sync(agent, "请处理 input.txt 中的覆盖率报告")
print(result.final_output)

示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在开发与测试工程师提出相关请求时能对上号;二是约束部分要写进「生成的测试要先在本地跑通,别只盯覆盖率数字」这类领域规矩,避免智能体自作主张。

安装与启用步骤

  1. 安装 SDK 并配置模型访问凭据(放在环境变量中)
  2. 用 function_tool 定义读取或处理数据的工具
  3. 在 Agent 的 instructions 中写入技能步骤与约束
  4. 用 Runner 运行并打印结果
  5. 把它包装成命令行工具或接口供团队使用

实操:一次完整的运行

假设你在测试框架与 CI 流水线中发出这样的请求(虚构示例):

这是今天的覆盖率报告,按团队的覆盖率缺口分析流程处理一下。

智能体识别到任务与「覆盖率缺口分析」相关后,会依次运行覆盖率、按业务重要性排序未覆盖代码、补充测试、复跑确认。最终交付缺口清单与新增测试,并在末尾列出需要人工确认的内容。你的工作是对照原始覆盖率报告抽查两三处关键信息,确认无误后再使用。

测试与验收

为 Agent 写几条固定输入的回归用例,每次修改指令后重跑,比较输出结构。

针对这个技能,还建议额外准备:

  • 一份信息齐全的标准覆盖率报告,检查输出是否完整
  • 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
  • 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效

常见坑

  • 把密钥写在代码里提交。
  • instructions 写得过长,关键约束被淹没。
  • 只写了步骤,没写交付格式,导致每次输出的缺口清单与新增测试结构不同。
  • 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。