「A/B 实验解读」Skill 场景实录:一次完整任务怎么跑
把「A/B 实验解读」交给智能体,难点不在模型能力,而在流程是否说清楚:输入是什么(实验数据),按什么顺序处理,交付什么(实验报告),哪些事不能做。Skill 就是把这些写下来的载体。
背景(虚构)
老许是一名数据分析师,每周都要做几次A/B 实验解读。过去靠复制粘贴提示词,结果不稳定。这次团队把它做成了技能,下面记录一次完整运行。
1. 发出请求
老许在表格、数据库与 Notebook中输入:
帮我做一下A/B 实验解读,材料是附上的实验数据。
2. 技能被触发
智能体根据技能描述判断任务匹配,加载「A/B 实验解读」的完整指令。它先运行技能自带的脚本做预处理,确保后续分析基于准确的数据。
3. 检查样本与分流
这一步的产出会作为下一步的输入。智能体在“检查样本与分流”时遇到一处含糊的信息,没有自行猜测,而是标注出来等待确认。
4. 计算差异与置信区间
这一步的产出会作为下一步的输入。智能体在“计算差异与置信区间”时遇到一处含糊的信息,没有自行猜测,而是标注出来等待确认。
5. 检查护栏指标
“检查护栏指标”是最容易出错的环节,技能里专门写了要求,所以智能体给出了清楚的结果与理由。
6. 给出建议
这一步的产出会作为下一步的输入。智能体在“给出建议”时遇到一处含糊的信息,没有自行猜测,而是标注出来等待确认。
7. 交付与复核
智能体交付实验报告,末尾列出两条需人工确认的内容。老许对照原始实验数据抽查关键信息,修正一处表述后采用。
复盘:这次做对了什么
- 步骤写在技能里,没有遗漏
- 不确定处被标出,而不是被编造
- 遵守了「结论要回到原始数据核对口径,避免把相关当因果」
- 属于中等风险:结果会影响业务判断,建议在输出前设置人工审核点
可以改进的地方
老许发现智能体对团队内部术语理解不一致,于是在技能目录中加了一份术语表(reference.md),并在 SKILL.md 中写明“遇到术语先查表”。更多改法见定制指南。
每一步要产出什么
把每一步的中间产出写清楚,智能体就不容易跳步,人也方便定位问题:
- 检查样本与分流:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分
- 计算差异与置信区间:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分
- 检查护栏指标:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分
- 给出建议:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分
最后一步之后,再把这些中间结果汇总成实验报告。中间结果可以折叠或省略展示,但在技能指令中要求智能体“先完成再汇总”,能明显减少遗漏。
领域注意事项
「A/B 实验解读」属于数据分析领域,使用者多是数据分析师与运营,工作环境通常是表格、数据库与 Notebook。这个领域最重要的一条底线是:结论要回到原始数据核对口径,避免把相关当因果。
建议把这条底线原样写进技能的约束部分,而不是指望智能体自己意识到。同时,在团队内部明确:智能体给出的实验报告只是初稿或建议,最终由谁签字确认、出了问题由谁负责。
延伸阅读
- A/B 实验解读 · 扣子(Coze)智能体与工作流 版
- A/B 实验解读 · 飞书 aily 版
- A/B 实验解读 · 快速上手
- 高管数据简报 · 场景实录
- 查询结果解读 · 场景实录
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。