给 OpenRouter 的结果打分:可复用的评估表
先说清楚它是什么:OpenRouter 属于「通用助手与客户端」方向的开发者 API,统一接入多家模型的 API 路由服务,可按模型切换与比较。
用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。
评分表(每项 1 到 5 分)
| 维度 | 看什么 | 1 分 | 5 分 |
|---|---|---|---|
| 事实准确 | 数字、日期、名称是否能被原始材料验证 | 明显不合格 | 无需修改即可使用 |
| 结构清晰 | 是否按要求的格式输出,层级是否合理 | 明显不合格 | 无需修改即可使用 |
| 完整度 | 是否覆盖了提问中的每个子问题 | 明显不合格 | 无需修改即可使用 |
| 可执行性 | 建议是否具体到下一步动作 | 明显不合格 | 无需修改即可使用 |
| 边界意识 | 不确定处是否明确标注 | 明显不合格 | 无需修改即可使用 |
建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。
用一个任务试打分
周报整理
准备材料:本周零散的工作记录和聊天截图文字。
把下面的工作记录整理成周报,分「已完成 / 进行中 / 风险与求助」三段,每条不超过 25 字,保留原始数字,不要补充我没写的成果。
检查点:没有出现记录里不存在的成果。
怎么让评分更可靠
- 同一批材料至少测 5 次,不只看最好的一次。
- 两人分别打分,分歧大的维度再讨论标准。
- 把 OpenRouter 的结果与人工完成或硅基流动的结果放在一起盲评。
- 每次改提示词后用同一批材料复测。
补充练习
学习新概念
准备材料:一个陌生的专业名词或技术概念。
我是零基础,请用一个生活类比解释【概念】,再给一个工作中的具体例子,最后出 3 道判断题检验我是否理解,答案放在最后。
交付前确认:能用自己的话复述类比。
会议准备
准备材料:会议议题和参会人角色。
我要主持一个 30 分钟的会议,议题是【议题】。请帮我写议程(含每项时长)、需要提前发给参会人的 3 个问题,以及可能出现的分歧和我的应对话术。
交付前确认:议程总时长不超过会议时长。
方案对比
准备材料:两到三个备选方案的要点。
用表格对比以下方案,列为:成本投入、实施难度、主要风险、适合的前提条件。表格后给出你倾向的方案和理由,并说明什么情况下结论会反转。
检查点:结论附带了反转条件。
常见问题:中文输出夹杂英文术语
在提示里明确「术语首次出现给中文译名,括号内保留英文」
常见问题:引用的链接打不开或内容对不上
要求只引用能直接访问的来源,关键结论自己回到原网页核对。
常见问题:上传文件后回答不全
文件过长时分章节上传,并要求先列出目录再逐节总结。
概念补充:联网搜索
让助手先检索网页再回答,回答应附来源,但来源本身也需要核对。
概念补充:幻觉
模型给出看似合理但与事实不符的内容,数字、人名、引用最容易出现。
使用提醒
涉及个人信息、商业机密或受监管数据时,先确认 OpenRouter 的数据处理条款,再决定能否使用。
文中提示词和示例仅作示意,实际效果取决于你的材料和 OpenRouter 当前版本,重要内容请人工核对后再使用。