怎么判断 Jenni AI 的产出好不好:一张评分表
学术写作辅助工具,提供续写与引用管理——这是 Jenni AI 最主要的用途,也是本文讨论的前提。
用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。
评分表(每项 1 到 5 分)
| 维度 | 看什么 | 1 分 | 5 分 |
|---|---|---|---|
| 来源可靠 | 引用是否真实、权威、可追溯 | 明显不合格 | 无需修改即可使用 |
| 忠实原文 | 摘要是否准确反映论文内容 | 明显不合格 | 无需修改即可使用 |
| 批判性 | 是否指出局限与分歧 | 明显不合格 | 无需修改即可使用 |
| 结构合理 | 报告或综述逻辑是否清晰 | 明显不合格 | 无需修改即可使用 |
| 合规 | 是否符合学术诚信与披露要求 | 明显不合格 | 无需修改即可使用 |
建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。
用一个任务试打分
文献初筛
输入:一个研究问题。
围绕【研究问题】检索近年的相关论文,列出 10 篇最相关的文献:标题、年份、研究方法和一句话结论,并注明检索使用的关键词。
验收标准:每篇文献都能查到原文。
怎么让评分更可靠
- 同一批材料至少测 5 次,不只看最好的一次。
- 两人分别打分,分歧大的维度再讨论标准。
- 把 Jenni AI 的结果与人工完成或 Paperpal 的结果放在一起盲评。
- 每次改提示词后用同一批材料复测。
补充练习
学术语言润色
适用情况:手头有一段英文论文草稿时。
润色这段学术英语:改正语法、提升简洁性,不改变论点和数据,用修订模式列出每处修改及原因。
交付前确认:数据和论点未改变。
综述框架
输入:已收集的 20 篇文献笔记。
根据这些笔记设计一份综述框架:按研究主题或方法分组,指出各组之间的分歧和研究空白。
验收标准:指出了研究空白。
引用核查
适用情况:手头有一段带引用的文字时。
检查这段文字中的每个引用:论文是否真实存在、引用内容是否与原文一致,无法确认的请明确标出。
交付前确认:不存在的引用被标出。
常见问题:摘要遗漏关键限制
要求单独列出局限性和样本说明。
常见问题:检索结果偏向英文文献
补充中文数据库检索,并调整关键词。
常见问题:AI 给出不存在的论文
只使用能查到 DOI 或原文链接的文献,逐条核验。
概念补充:学术诚信
关于独立研究、正确引用与 AI 使用披露的规范。
概念补充:预印本
未经同行评审公开的论文,引用时需注明。
适合人群:数据分析师
数据分析师可以用 Jenni 处理取数与 SQL、清洗与可视化等工作。需要注意:确认指标口径,敏感数据脱敏后再交给 AI 处理。
适合人群:软件工程师
软件工程师可以用 Jenni 处理代码阅读与重构、测试与排错等工作。需要注意:不要把密钥和未开源代码上传到未授权工具,合并前审阅每处改动。
写在最后
本文基于 Jenni AI 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。
涉及个人信息、商业机密或受监管数据时,先确认 Jenni AI 的数据处理条款,再决定能否使用。