怎么判断 JetBrains AI Assistant 的产出好不好:一张评分表
在「编程与开发」类工具里,JetBrains AI Assistant 的定位是:JetBrains 系列 IDE 内置的 AI 助手与 Junie 智能体。
用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。
评分表(每项 1 到 5 分)
| 维度 | 看什么 | 1 分 | 5 分 |
|---|---|---|---|
| 正确性 | 代码能否通过测试并满足需求 | 明显不合格 | 无需修改即可使用 |
| 改动范围 | 是否只改了必要的地方 | 明显不合格 | 无需修改即可使用 |
| 可读性 | 命名、结构是否符合项目风格 | 明显不合格 | 无需修改即可使用 |
| 安全性 | 是否引入注入、越权或密钥泄露风险 | 明显不合格 | 无需修改即可使用 |
| 可维护性 | 是否附带测试与必要说明 | 明显不合格 | 无需修改即可使用 |
建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。
用一个任务试打分
修复报错
准备材料:一段报错堆栈和相关代码。
这是报错信息和相关代码。请先解释报错原因,给出最小修改方案,并说明为什么这个修改不会影响其他调用方。
交付前确认:修改范围足够小。
怎么让评分更可靠
- 同一批材料至少测 5 次,不只看最好的一次。
- 两人分别打分,分歧大的维度再讨论标准。
- 把 JetBrains AI Assistant 的结果与人工完成或 Cursor 的结果放在一起盲评。
- 每次改提示词后用同一批材料复测。
更多可以试的用法
小功能开发
输入:一个清晰的需求描述。
实现以下需求:【需求】。要求:先给出实现计划和要改动的文件列表,等我确认后再写代码;遵循现有代码风格;补充必要的测试。
检查点:先有计划再动手。
读懂陌生代码库
准备材料:一个刚接手的项目仓库。
先不要改任何代码。请阅读这个仓库,输出:1)目录结构说明;2)主要模块之间的调用关系;3)本地运行步骤;4)你认为最脆弱的 3 个地方。
交付前确认:运行步骤能实际跑通。
补单元测试
适用情况:手头有一个缺少测试的函数或模块时。
为【函数名】编写单元测试,覆盖正常输入、边界值和异常输入,使用项目现有的测试框架,不要修改被测代码。先列测试用例再写代码。
检查点:测试能在本地通过。
常见问题:生成的代码引用了不存在的函数
让它先搜索代码库确认 API,再写实现;运行测试验证。
常见问题:越改越乱
回滚到上一个可用提交,把需求拆小后重新开始。
常见问题:泄露密钥的风险
把密钥放在环境变量,规则文件中禁止读取 .env 等敏感文件。
概念补充:规则文件
放在仓库里的说明文件,告诉 AI 项目约定和禁止事项。
概念补充:MCP
让编程工具连接外部数据和工具的协议。
适合人群:游戏开发者
游戏开发者可以用 JetBrains AI 处理原型与素材、NPC 对话与文案等工作。需要注意:关注生成素材的授权和平台对 AI 内容的披露要求。
适合人群:科研人员
科研人员可以用 JetBrains AI 处理文献检索与阅读、实验记录与数据整理等工作。需要注意:遵守期刊和机构关于 AI 使用的披露要求,引用逐条核对。
使用提醒
文中提示词和示例仅作示意,实际效果取决于你的材料和 JetBrains AI 当前版本,重要内容请人工核对后再使用。
所有示例输出均为示意,不代表真实统计或效果承诺;请以自己的测试结果为准。