用统一接口调用上百种模型并做路由、限额的开源网关——这是 LiteLLM 最主要的用途，也是本文讨论的前提。

下面列出 10 个具体场景，每个都注明适合与不适合的情况。

10 个场景

  1. 线索整理流程：可以做成固定模板。
  2. 竞品信息周报：效果依赖输入材料质量。
  3. 知识库问答机器人：效果依赖输入材料质量。
  4. 发票与单据提取：效果依赖输入材料质量。
  5. 多步骤调研任务：适合先小范围试用。
  6. 定时提醒与汇总：效果依赖输入材料质量。
  7. 新媒体运营：内容排期：适合先小范围试用。
  8. 销售：客户背景调研：可以做成固定模板。
  9. 客服人员：回复草稿：效果依赖输入材料质量。
  10. 行政与助理：会议安排与纪要：效果依赖输入材料质量。

挑两个场景细看

线索整理流程

准备材料：每天从表单收到的客户咨询。

搭建一个流程：新表单提交后，AI 判断咨询类型（报价 / 售后 / 合作 / 其他），提取联系人和需求摘要写入表格，报价类自动通知销售群。分类不确定时标记为「待人工」。

验收标准：不确定的情况进入人工。

发票与单据提取

输入：一批 PDF 发票或收据。

从这些单据中提取开票日期、金额、销售方名称和税号，输出为表格；任何字段识别置信度低时留空并标红，不要猜测。

检查点：低置信度字段留空。

不适合的场景

  • 需要专业资质最终签字的判断。
  • 无法核实来源却要公开发布的内容。
  • 涉及他人隐私且未获授权的材料。

补充练习

定时提醒与汇总

输入：团队群聊或任务看板。

每天下午 6 点汇总今日新增和逾期任务，按负责人分组发送提醒，周五额外输出一周完成情况。

验收标准：提醒内容与看板一致。

多步骤调研任务

输入：一个需要多来源信息的问题。

围绕【主题】做调研：先列出调研计划，再分别检索，最后输出带来源的报告。每个结论注明来源链接，来源之间矛盾时并列呈现。

验收标准：矛盾信息被并列呈现。

知识库问答机器人

适用情况：手头有一批产品文档和 FAQ 时。

用这些文档搭建问答机器人：回答只基于文档，找不到答案时回复「这个问题我需要转给同事」，并记录未解决问题供每周补充文档。

交付前确认：答不出时不编造。

常见问题：智能体陷入循环

设置最大步数和超时，关键步骤改为固定工作流。

常见问题：费用超出预期

给每次运行设上限，监控调用次数，先用小模型处理简单步骤。

常见问题：误发消息给客户

对外发送前加人工审批节点，测试环境与正式环境分开。

概念补充：智能体（Agent）

由模型自主决定步骤和工具调用，灵活但需要更多护栏。

概念补充：人工审批节点

在关键动作前暂停等待人确认，防止误操作。

适合人群：行政与助理

行政与助理可以用 LiteLLM 处理会议安排与纪要、通知公告等工作。需要注意：员工个人信息与内部文件按权限管理。

注意事项

本文基于 LiteLLM 公开的定位与通用用法编写，具体功能、套餐与可用地区以官方页面为准，产品更新后界面和名称可能变化。

涉及个人信息、商业机密或受监管数据时，先确认 LiteLLM 的数据处理条款，再决定能否使用。

延伸阅读