扣子工作流实战:搭一个不稳定测试排查智能体
开发与测试工程师经常要做「不稳定测试排查」这类事:多次运行定位偶发失败的测试并分析原因。每次都从头写提示词,结果时好时坏;把它做成智能体 Skill,就能让智能体每次按同一套步骤执行,输出结构也更稳定。
本文介绍如何在 扣子(Coze)智能体与工作流 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。
这个技能做什么
| 项目 | 说明 |
|---|---|
| 技能 | 不稳定测试排查(flaky-test-triage) |
| 作用 | 多次运行定位偶发失败的测试并分析原因 |
| 输入 | 测试命令 |
| 输出 | 不稳定测试清单与原因分析 |
| 形态 | 带脚本 |
| 风险 | 低 |
| 适用人群 | 开发与测试工程师 |
处理流程分四步:
- 重复运行收集失败
- 对比失败日志
- 归类为时序、顺序依赖、外部依赖
- 给出修复方向
这个技能需要运行本地脚本(解析文件、调用命令行工具等),要求运行环境允许执行代码;风险较低,但输出仍需快速过目再使用。
在 扣子(Coze)智能体与工作流 中是什么形态
扣子(Coze)是字节跳动推出的智能体开发平台,可以为智能体设置人设与回复逻辑,挂载插件、知识库和工作流,并发布到多个渠道。
国内版与海外版在功能和发布渠道上可能不同,具体以所用版本的官方文档为准。
示例配置
# 扣子(Coze)配置思路示意,界面字段以平台当前版本为准
智能体: 不稳定测试排查
人设与回复逻辑: 你负责多次运行定位偶发失败的测试并分析原因。收到测试命令后按工作流处理,不确定处要说明。
工作流 flaky_test_triage:
- 开始: content
- 大模型: 重复运行收集失败;对比失败日志
- 代码: 解析与校验
- 大模型: 归类为时序、顺序依赖、外部依赖;给出修复方向
- 结束: 不稳定测试清单与原因分析
知识库: 团队规范与示例(可选)
示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在开发与测试工程师提出相关请求时能对上号;二是约束部分要写进「生成的测试要先在本地跑通,别只盯覆盖率数字」这类领域规矩,避免智能体自作主张。
安装与启用步骤
- 新建智能体,写好人设与回复逻辑
- 新建工作流,按技能步骤添加大模型、代码、插件节点
- 上传团队规范作为知识库(可选)
- 在调试窗口测试多组输入
- 发布到需要的渠道
实操:一次完整的运行
假设你在测试框架与 CI 流水线中发出这样的请求(虚构示例):
用不稳定测试排查技能处理这份测试命令,输出不稳定测试清单与原因分析。
智能体识别到任务与「不稳定测试排查」相关后,会依次重复运行收集失败、对比失败日志、归类为时序、顺序依赖、外部依赖、给出修复方向。最终交付不稳定测试清单与原因分析,并在末尾列出需要人工确认的内容。你的工作是对照原始测试命令抽查两三处关键信息,确认无误后再使用。
测试与验收
在调试窗口查看工作流每个节点的运行结果,尤其检查插件返回为空时的处理。
针对这个技能,还建议额外准备:
- 一份信息齐全的标准测试命令,检查输出是否完整
- 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
- 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效
常见坑
- 人设写得过于花哨,反而削弱了流程约束。
- 插件授权范围过大。
- 只写了步骤,没写交付格式,导致每次输出的不稳定测试清单与原因分析结构不同。
- 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。
延伸阅读
- 不稳定测试排查 · 极简与进阶
- 不稳定测试排查 · 定制指南
- 不稳定测试排查 · AGENTS.md 版
- 接口契约测试 · 扣子(Coze)智能体与工作流 版
- 无障碍测试 · 扣子(Coze)智能体与工作流 版
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。