百炼产出验收:5 个维度打分法
阿里云百炼是一款平台:阿里云的大模型服务与应用开发平台,可调用通义等模型并搭建智能体。
用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。
评分表(每项 1 到 5 分)
| 维度 | 看什么 | 1 分 | 5 分 |
|---|---|---|---|
| 事实准确 | 数字、日期、名称是否能被原始材料验证 | 明显不合格 | 无需修改即可使用 |
| 结构清晰 | 是否按要求的格式输出,层级是否合理 | 明显不合格 | 无需修改即可使用 |
| 完整度 | 是否覆盖了提问中的每个子问题 | 明显不合格 | 无需修改即可使用 |
| 可执行性 | 建议是否具体到下一步动作 | 明显不合格 | 无需修改即可使用 |
| 边界意识 | 不确定处是否明确标注 | 明显不合格 | 无需修改即可使用 |
建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。
用一个任务试打分
方案对比
适用情况:手头有两到三个备选方案的要点时。
用表格对比以下方案,列为:成本投入、实施难度、主要风险、适合的前提条件。表格后给出你倾向的方案和理由,并说明什么情况下结论会反转。
验收标准:结论附带了反转条件。
怎么让评分更可靠
- 同一批材料至少测 5 次,不只看最好的一次。
- 两人分别打分,分歧大的维度再讨论标准。
- 把阿里云百炼的结果与人工完成或百度千帆的结果放在一起盲评。
- 每次改提示词后用同一批材料复测。
延伸练习
邮件改写
输入:一封措辞生硬的中文或英文邮件草稿。
把这封邮件改写得礼貌但直接,保留所有日期和金额,开头一句说明来意,结尾给出明确的下一步。另外给一个更简短的版本。
交付前确认:日期金额与原稿一致。
学习新概念
输入:一个陌生的专业名词或技术概念。
我是零基础,请用一个生活类比解释【概念】,再给一个工作中的具体例子,最后出 3 道判断题检验我是否理解,答案放在最后。
验收标准:能用自己的话复述类比。
周报整理
适用情况:手头有本周零散的工作记录和聊天截图文字时。
把下面的工作记录整理成周报,分「已完成 / 进行中 / 风险与求助」三段,每条不超过 25 字,保留原始数字,不要补充我没写的成果。
检查点:没有出现记录里不存在的成果。
常见问题:同一问题每次答案不同
把格式和判断标准写死,必要时让它先给评分依据再给结论。
常见问题:中文输出夹杂英文术语
在提示里明确「术语首次出现给中文译名,括号内保留英文」
常见问题:引用的链接打不开或内容对不上
要求只引用能直接访问的来源,关键结论自己回到原网页核对。
概念补充:系统提示词
在对话开头设定角色、规则与格式的指令,影响整段对话。
概念补充:幻觉
模型给出看似合理但与事实不符的内容,数字、人名、引用最容易出现。
使用提醒
涉及个人信息、商业机密或受监管数据时,先确认阿里云百炼的数据处理条款,再决定能否使用。
所有示例输出均为示意,不代表真实统计或效果承诺;请以自己的测试结果为准。