Cognition 推出的自主软件工程智能体——这是 Devin 最主要的用途,也是本文讨论的前提。

用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。

评分表(每项 1 到 5 分)

维度看什么1 分5 分
正确性代码能否通过测试并满足需求明显不合格无需修改即可使用
改动范围是否只改了必要的地方明显不合格无需修改即可使用
可读性命名、结构是否符合项目风格明显不合格无需修改即可使用
安全性是否引入注入、越权或密钥泄露风险明显不合格无需修改即可使用
可维护性是否附带测试与必要说明明显不合格无需修改即可使用

建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。

用一个任务试打分

写技术文档

适用情况:手头有一个模块的源码时。

根据源码为这个模块写 README:用途、安装、最小示例、配置项表格和常见问题。示例代码必须能直接运行。

交付前确认:示例代码可运行。

怎么让评分更可靠

  • 同一批材料至少测 5 次,不只看最好的一次。
  • 两人分别打分,分歧大的维度再讨论标准。
  • 把 Devin 的结果与人工完成或 OpenAI Codex 的结果放在一起盲评。
  • 每次改提示词后用同一批材料复测。

补充练习

修复报错

准备材料:一段报错堆栈和相关代码。

这是报错信息和相关代码。请先解释报错原因,给出最小修改方案,并说明为什么这个修改不会影响其他调用方。

交付前确认:修改范围足够小。

代码审查

输入:一个 Pull Request 的改动。

审查这个改动,按「必须修改 / 建议修改 / 可以忽略」三级列出问题,每条附上文件和行号,重点关注安全、并发和错误处理。

检查点:问题定位到行。

补单元测试

输入:一个缺少测试的函数或模块。

为【函数名】编写单元测试,覆盖正常输入、边界值和异常输入,使用项目现有的测试框架,不要修改被测代码。先列测试用例再写代码。

交付前确认:测试能在本地通过。

常见问题:测试全绿但功能不对

人工补充关键用例,检查测试是否真正断言了结果。

常见问题:AI 改动范围过大

要求先给计划和文件清单,限定只改指定文件。

常见问题:越改越乱

回滚到上一个可用提交,把需求拆小后重新开始。

概念补充:补全(Completion)

在光标处预测下一段代码,速度快但上下文有限。

概念补充:MCP

让编程工具连接外部数据和工具的协议。

适合人群:设计师

设计师可以用 Devin 处理灵感与草图、多尺寸物料适配等工作。需要注意:确认生成素材与字体的商用授权,客户未公开的项目不要上传。

适合人群:小店老板

小店老板可以用 Devin 处理门店宣传物料、顾客评价回复等工作。需要注意:价格和活动信息以实际为准,顾客电话等信息不要随意上传。

写在最后

文中提示词和示例仅作示意,实际效果取决于你的材料和 Devin 当前版本,重要内容请人工核对后再使用。

本文基于 Devin 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。

延伸阅读