给 Hebbia 的结果打分:可复用的评估表
面向金融与咨询的大批量文档分析平台——这是 Hebbia 最主要的用途,也是本文讨论的前提。
用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。
评分表(每项 1 到 5 分)
| 维度 | 看什么 | 1 分 | 5 分 |
|---|---|---|---|
| 专业准确 | 是否符合行业规范和事实 | 明显不合格 | 无需修改即可使用 |
| 可追溯 | 结论能否回到原始资料 | 明显不合格 | 无需修改即可使用 |
| 合规 | 是否满足行业监管与隐私要求 | 明显不合格 | 无需修改即可使用 |
| 责任清晰 | 是否保留专业人员的最终判断 | 明显不合格 | 无需修改即可使用 |
| 效率 | 是否切实减少重复性工作 | 明显不合格 | 无需修改即可使用 |
建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。
用一个任务试打分
资料检索与摘要
准备材料:一个专业问题。
检索与这个问题相关的权威资料,给出摘要并附出处,明确区分「资料原文结论」与「推论」。
交付前确认:区分原文与推论。
怎么让评分更可靠
- 同一批材料至少测 5 次,不只看最好的一次。
- 两人分别打分,分歧大的维度再讨论标准。
- 把 Hebbia 的结果与人工完成或 Harvey 的结果放在一起盲评。
- 每次改提示词后用同一批材料复测。
补充练习
客户沟通稿
准备材料:一个需要向客户解释的专业问题。
用非专业人士能理解的语言解释这个问题,避免给出绝对化承诺,并提醒客户需要专业人士最终确认的部分。
验收标准:没有绝对化承诺。
合规清单
适用情况:手头有一项业务流程时。
针对这项流程列出需要关注的合规检查点,每项注明依据类型(法规 / 行业标准 / 内部制度)以及需要向谁确认。
交付前确认:注明了确认对象。
常见问题:识别模型在新场景失效
补充新场景的标注数据重新评估。
常见问题:数据合规审批卡住
提前准备数据流向说明、供应商资质和合同条款。
常见问题:客户误以为是专业意见
在输出中加入明确提示,并由专业人员审核后再发出。
概念补充:人在回路
关键判断必须由有资质的人员确认。
概念补充:领域模型
针对特定行业数据训练或调优的模型。
适合人群:财务人员
财务人员可以用 Hebbia 处理单据识别录入、报表说明与分析等工作。需要注意:财务数据属于敏感信息,优先使用企业版或本地方案,结果需复核。
适合人群:法务与律师助理
法务与律师助理可以用 Hebbia 处理合同初审、法规检索等工作。需要注意:AI 输出不构成法律意见,条款和法规必须由执业人员核实。
适合人群:销售
销售可以用 Hebbia 处理客户背景调研、跟进邮件与话术等工作。需要注意:客户数据按公司规定处理,报价和承诺以合同为准。
使用提醒
本文基于 Hebbia 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。
文中提示词和示例仅作示意,实际效果取决于你的材料和 Hebbia 当前版本,重要内容请人工核对后再使用。