先说清楚它是什么:DSPy 属于「智能体与自动化」方向的开源项目,斯坦福开源的「编程而非提示」大模型框架。

用 AI 最容易犯的错是「看着不错就用了」,这篇给出一张可复用的打分表。

评分表(每项 1 到 5 分)

维度看什么1 分5 分
成功率一批测试任务中完全正确完成的比例明显不合格无需修改即可使用
稳定性同样输入多次运行结果是否一致明显不合格无需修改即可使用
安全性是否有越权操作或数据外泄风险明显不合格无需修改即可使用
成本单次运行的调用次数与费用明显不合格无需修改即可使用
可排查性失败时能否快速定位到具体步骤明显不合格无需修改即可使用

建议:任一维度低于 3 分就不要直接使用;总分用于比较不同提示词或不同工具的效果。

用一个任务试打分

发票与单据提取

输入:一批 PDF 发票或收据。

从这些单据中提取开票日期、金额、销售方名称和税号,输出为表格;任何字段识别置信度低时留空并标红,不要猜测。

交付前确认:低置信度字段留空。

怎么让评分更可靠

  • 同一批材料至少测 5 次,不只看最好的一次。
  • 两人分别打分,分歧大的维度再讨论标准。
  • 把 DSPy 的结果与人工完成或 LangChain 的结果放在一起盲评。
  • 每次改提示词后用同一批材料复测。

延伸练习

线索整理流程

准备材料:每天从表单收到的客户咨询。

搭建一个流程:新表单提交后,AI 判断咨询类型(报价 / 售后 / 合作 / 其他),提取联系人和需求摘要写入表格,报价类自动通知销售群。分类不确定时标记为「待人工」。

交付前确认:不确定的情况进入人工。

定时提醒与汇总

适用情况:手头有团队群聊或任务看板时。

每天下午 6 点汇总今日新增和逾期任务,按负责人分组发送提醒,周五额外输出一周完成情况。

验收标准:提醒内容与看板一致。

多步骤调研任务

适用情况:手头有一个需要多来源信息的问题时。

围绕【主题】做调研:先列出调研计划,再分别检索,最后输出带来源的报告。每个结论注明来源链接,来源之间矛盾时并列呈现。

验收标准:矛盾信息被并列呈现。

常见问题:费用超出预期

给每次运行设上限,监控调用次数,先用小模型处理简单步骤。

常见问题:智能体陷入循环

设置最大步数和超时,关键步骤改为固定工作流。

常见问题:调用外部系统失败

增加重试和失败通知,记录请求参数便于排查。

概念补充:工作流(Workflow)

按固定步骤执行的流程,可预测、易排错。

概念补充:工具调用

模型调用外部 API 或函数完成动作的能力。

适合人群:新媒体运营

新媒体运营可以用 DSPy 处理内容排期、数据复盘等工作。需要注意:活动规则与奖品说明要准确,避免诱导分享等违规玩法。

使用提醒

文中提示词和示例仅作示意,实际效果取决于你的材料和 DSPy 当前版本,重要内容请人工核对后再使用。

涉及个人信息、商业机密或受监管数据时,先确认 DSPy 的数据处理条款,再决定能否使用。

延伸阅读