大模型 API 调用单独使用已经很有用,但在复杂任务里,和 JSON 结构化输出组合起来效果更好。本文给出一套可以直接照做的组合流程。

两个技能各自负责什么

  • 调用大模型 API:调用大模型 API 是通过编程接口把 AI 能力接入你自己的脚本、工具或应用,例如批量处理文本、给内部系统加上自动摘要。
  • 结构化输出:结构化输出是让 AI 按照固定的字段和格式返回结果,例如 JSON、表格或固定标题的清单。

调用大模型 API 有效是因为网页对话需要人工逐条操作,而 API 可以用代码循环处理成百上千条数据,并把结果直接写入文件或系统;结构化输出有效则是因为自由文本每次结构都不同,后续整理很费时;预先定义字段相当于给 AI 一张要填的表,结果更一致,也更容易检查遗漏。两者叠加,正好互补。

组合流程

  1. (调用大模型 API)选择 API 服务商,阅读官方文档,了解计费方式和使用限制。
  2. (调用大模型 API)先用官方示例代码完成一次最简单的调用。
  3. (结构化输出)把字段定义写进提示词,最好直接给出一个空的 JSON 或表头。
  4. (结构化输出)要求“只输出 JSON,不要任何解释”
  5. (收尾)上线前评估成本,记录调用日志,定期检查结果质量。

组合模板

以测试工程师的场景为例,先用下面的模板完成调用大模型 API 部分:

API 调用设计检查清单:
□ 密钥管理:使用环境变量或密钥管理服务,不提交到代码仓库
□ 输出格式:要求结构化输出,并在代码中校验
□ 错误处理:超时、限流、格式错误分别如何处理
□ 重试策略:重试次数和间隔,避免无限重试
□ 成本控制:估算单条成本和总成本,设置预算上限
□ 日志:记录输入摘要、输出、耗时和错误,注意不记录敏感信息
□ 质量抽查:每批结果随机抽查一定比例
□ 数据合规:确认传输的数据符合公司和服务商的政策

然后再按结构化输出的思路补一轮,例如:给枚举字段列出可选值,能显著减少同义词混用,比如“高/中/低”

示例

以下为虚构示例:

示例(虚构):一位数据分析师需要给 5000 条用户评论打标签。她用 AI 写了一个调用 API 的脚本,先用 50 条测试,调整提示词后再跑全量。脚本把失败的 12 条记录到单独的文件中,她手动处理了这些异常,整个任务在一个下午内完成。

组合之后,结构化输出这一环的价值在于:设计字段时要从“下一步怎么用”倒推。

组合使用时的注意事项

  • 定期抽查结果,防止模型更新带来的效果变化。
  • 字段名含糊,比如“信息”“备注”应对方法:每个字段写清含义和格式,比如“截止日期,YYYY-MM-DD”
  • 两个技能叠加会让提示词变长,先确认单独使用时各自有效,再组合。

工作流技能要算的是总账:AI 省下的时间,减去检查和修正的时间,才是真正的收益。

什么时候不必组合

任务简单、一次就能得到满意结果时,单独用调用大模型 API 就够了。组合的意义在于解决单一技能处理不好的问题,比如结果不稳定、需要多轮加工或要交给他人复用。先确认问题出在哪,再决定加哪一项技能。

相关阅读