Dify 实战:把不稳定测试排查做成团队可用的应用
「不稳定测试排查」是开发与测试工程师的高频任务。它的输入通常是测试命令,期望得到的是不稳定测试清单与原因分析。这类有固定流程、又需要一点判断力的工作,很适合封装成智能体 Skill。
本文介绍如何在 Dify 工作流 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。
这个技能做什么
| 项目 | 说明 |
|---|---|
| 技能 | 不稳定测试排查(flaky-test-triage) |
| 作用 | 多次运行定位偶发失败的测试并分析原因 |
| 输入 | 测试命令 |
| 输出 | 不稳定测试清单与原因分析 |
| 形态 | 带脚本 |
| 风险 | 低 |
| 适用人群 | 开发与测试工程师 |
处理流程分四步:
- 重复运行收集失败
- 对比失败日志
- 归类为时序、顺序依赖、外部依赖
- 给出修复方向
这个技能需要运行本地脚本(解析文件、调用命令行工具等),要求运行环境允许执行代码;风险较低,但输出仍需快速过目再使用。
在 Dify 工作流 中是什么形态
Dify 是开源的大模型应用开发平台,可以用可视化工作流把开始、LLM、知识检索、代码执行、HTTP 请求、条件分支等节点串起来,适合把技能做成团队可直接使用的应用。
可以使用云端版本或自行部署;工作流发布后可通过网页应用或 API 调用。
示例配置
# 示意结构(便于理解节点关系,不是 Dify 导出的 DSL 文件)
应用: 不稳定测试排查
类型: 工作流
节点:
- 开始: 输入变量 content(测试命令)
- 代码执行: 预处理输入,统一格式
- LLM: 系统提示词写明步骤——重复运行收集失败;对比失败日志;归类为时序、顺序依赖、外部依赖;给出修复方向
- 条件分支: 输出中是否包含“需人工确认”
- 结束: 输出 不稳定测试清单与原因分析
示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在开发与测试工程师提出相关请求时能对上号;二是约束部分要写进「生成的测试要先在本地跑通,别只盯覆盖率数字」这类领域规矩,避免智能体自作主张。
安装与启用步骤
- 新建工作流(或对话流)应用
- 在开始节点定义输入变量
- 按技能步骤添加 LLM、代码或工具节点
- 加条件分支处理需人工确认的情况
- 调试运行后发布,并把访问方式告诉团队
实操:一次完整的运行
假设你在测试框架与 CI 流水线中发出这样的请求(虚构示例):
用不稳定测试排查技能处理这份测试命令,输出不稳定测试清单与原因分析。
智能体识别到任务与「不稳定测试排查」相关后,会依次重复运行收集失败、对比失败日志、归类为时序、顺序依赖、外部依赖、给出修复方向。最终交付不稳定测试清单与原因分析,并在末尾列出需要人工确认的内容。你的工作是对照原始测试命令抽查两三处关键信息,确认无误后再使用。
测试与验收
在调试面板逐节点查看输入输出,准备至少三组样例反复运行。
针对这个技能,还建议额外准备:
- 一份信息齐全的标准测试命令,检查输出是否完整
- 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
- 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效
常见坑
- 所有步骤都塞进一个 LLM 节点,出错时难以定位。
- 代码节点中写死了敏感配置。
- 只写了步骤,没写交付格式,导致每次输出的不稳定测试清单与原因分析结构不同。
- 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。
延伸阅读
- 不稳定测试排查 · 快速上手
- 不稳定测试排查 · 组合用法
- 不稳定测试排查 · 故障排查
- 接口契约测试 · Dify 工作流 版
- 无障碍测试 · Dify 工作流 版
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。