把「A/B 实验解读」交给智能体,难点不在模型能力,而在流程是否说清楚:输入是什么(实验数据),按什么顺序处理,交付什么(实验报告),哪些事不能做。Skill 就是把这些写下来的载体。

背景(虚构)

老许是一名数据分析师,每周都要做几次A/B 实验解读。过去靠复制粘贴提示词,结果不稳定。这次团队把它做成了技能,下面记录一次完整运行。

1. 发出请求

老许在表格、数据库与 Notebook中输入:

帮我做一下A/B 实验解读,材料是附上的实验数据。

2. 技能被触发

智能体根据技能描述判断任务匹配,加载「A/B 实验解读」的完整指令。它先运行技能自带的脚本做预处理,确保后续分析基于准确的数据。

3. 检查样本与分流

这一步的产出会作为下一步的输入。智能体在“检查样本与分流”时遇到一处含糊的信息,没有自行猜测,而是标注出来等待确认。

4. 计算差异与置信区间

这一步的产出会作为下一步的输入。智能体在“计算差异与置信区间”时遇到一处含糊的信息,没有自行猜测,而是标注出来等待确认。

5. 检查护栏指标

“检查护栏指标”是最容易出错的环节,技能里专门写了要求,所以智能体给出了清楚的结果与理由。

6. 给出建议

这一步的产出会作为下一步的输入。智能体在“给出建议”时遇到一处含糊的信息,没有自行猜测,而是标注出来等待确认。

7. 交付与复核

智能体交付实验报告,末尾列出两条需人工确认的内容。老许对照原始实验数据抽查关键信息,修正一处表述后采用。

复盘:这次做对了什么

  • 步骤写在技能里,没有遗漏
  • 不确定处被标出,而不是被编造
  • 遵守了「结论要回到原始数据核对口径,避免把相关当因果」
  • 属于中等风险:结果会影响业务判断,建议在输出前设置人工审核点

可以改进的地方

老许发现智能体对团队内部术语理解不一致,于是在技能目录中加了一份术语表(reference.md),并在 SKILL.md 中写明“遇到术语先查表”。更多改法见定制指南。

每一步要产出什么

把每一步的中间产出写清楚,智能体就不容易跳步,人也方便定位问题:

  1. 检查样本与分流:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分
  2. 计算差异与置信区间:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分
  3. 检查护栏指标:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分
  4. 给出建议:产出一段简短的中间结果,并注明依据来自实验数据的哪一部分

最后一步之后,再把这些中间结果汇总成实验报告。中间结果可以折叠或省略展示,但在技能指令中要求智能体“先完成再汇总”,能明显减少遗漏。

领域注意事项

「A/B 实验解读」属于数据分析领域,使用者多是数据分析师与运营,工作环境通常是表格、数据库与 Notebook。这个领域最重要的一条底线是:结论要回到原始数据核对口径,避免把相关当因果。

建议把这条底线原样写进技能的约束部分,而不是指望智能体自己意识到。同时,在团队内部明确:智能体给出的实验报告只是初稿或建议,最终由谁签字确认、出了问题由谁负责。

延伸阅读

说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。