无障碍测试 Skill 效果评估方法:样例集、评分维度与迭代
「无障碍测试」是开发与测试工程师的高频任务。它的输入通常是页面地址,期望得到的是问题清单与修复建议。这类有固定流程、又需要一点判断力的工作,很适合封装成智能体 Skill。
“感觉好用”不足以说明技能有效。下面给出一套轻量的评估方法,用来判断「无障碍测试」是否达标,以及每次修改后是变好还是变坏。
1. 建一个样例集
收集 10~20 份有代表性的页面地址(已脱敏),覆盖常见情况、困难情况和边界情况。为每份样例写下“合格输出应该包含什么”。
2. 定义评分维度
| 维度 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|
| 完整性 | 缺少主要部分 | 缺少次要部分 | 问题清单与修复建议结构完整 |
| 准确性 | 有编造或明显错误 | 有小瑕疵 | 内容都能在输入中找到依据 |
| 流程遵循 | 跳过多个步骤 | 跳过一步 | 按步骤执行 |
| 边界处理 | 缺信息时编造 | 部分提问 | 先提问或明确标注 |
| 可用性 | 需要大改 | 需要小改 | 基本可直接使用 |
3. 打分方式
- 人工打分最可靠,两人独立打分取平均
- 可以让另一个模型按评分表初评,但要人工抽查,不要完全依赖
- 记录每个样例的得分和问题描述
4. 回归测试
每次修改技能后,跑一遍完整样例集,比较总分与各维度变化。某个维度下降时,回看是哪条修改导致的。
5. 关注真实使用
离线样例之外,留意真实使用中被人工大幅修改的输出,把它们补进样例集。
每一步可以单独检查
- 运行自动化检查:是否完成、是否有依据
- 人工核对键盘导航:是否完成、是否有依据
- 检查对比度与替代文本:是否完成、是否有依据
- 按严重程度输出:是否完成、是否有依据
提醒
评分表是工具,不是目标。风险较低,但输出仍需快速过目再使用。不要为了分数好看而让技能输出冗长内容。相关:测试用例、故障排查。
常见变体
同一个技能可以按使用场景派生出几个变体:
- 简版:只保留核心步骤(运行自动化检查、按严重程度输出),适合快速过一遍
- 详版:每一步都写出理由与依据,适合交给他人复核或留档
- 批量版:一次处理多份页面地址,输出汇总表,适合定期集中处理
变体之间共享同一套约束,只在步骤详略和输出格式上有差异。可以在一个技能里用参数区分,也可以拆成几个名称明确的技能。
什么时候用这个技能
- 手头有页面地址,需要在较短时间内得到问题清单与修复建议
- 同类任务每周出现多次,希望每次处理方式一致
- 结果要交给同事或上级复核,需要统一的结构和清楚的依据
- 新人接手这类工作,需要一个可以照着做的标准流程
反过来,如果只是偶尔做一次,或者任务高度依赖现场判断,直接和测试框架与 CI 流水线里的智能体对话即可,不必专门封装成技能。
延伸阅读
- 无障碍测试 · MCP 服务 版
- 无障碍测试 · n8n AI Agent 版
- 无障碍测试 · 快速上手
- 模糊测试输入 · 效果评估
- 测试环境诊断 · 效果评估
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。