用统一接口调用上百种模型并做路由、限额的开源网关——这是 LiteLLM 最主要的用途，也是本文讨论的前提。

单独用一个工具往往只解决一段问题，这篇讲怎么把它和上下游工具串起来。

推荐组合：LiteLLM + PolyAI

PolyAI 的定位是：面向企业呼叫中心的语音客服智能体。两者分工可以是：LiteLLM 负责「竞品信息周报」这一步，PolyAI 负责接入客服渠道。

工作流步骤

  1. 明确交付物和验收标准，例如：每条变化都附链接。
  2. 准备输入：5 个竞品的公开网站或博客，先去掉敏感信息。
  3. 在 LiteLLM 中执行核心步骤（提示词见下文）
  4. 把结果交给 PolyAI 做下一步处理，或从 PolyAI 取得所需材料。
  5. 人工检查关键事实与格式，记录发现的问题。
  6. 把这次用到的提示词和设置保存为模板，下次复用。

竞品信息周报

输入：5 个竞品的公开网站或博客。

每周一自动抓取这些竞品页面的更新，让 AI 对比上周内容，输出「新增功能 / 价格页面变化 / 新发布文章」三段摘要，并附原始链接。

交付前确认：每条变化都附链接。

交接时最容易出问题的地方

  • 格式不兼容：两边导入导出的格式提前测试一次。
  • 信息丢失：每次交接附上来源和版本号。
  • 责任不清：约定哪一步由谁做最终确认。
  • 权限分散：两边的账号和分享范围分别检查。

如果暂时不想引入第二个工具，也可以先用 One API 等同类产品替代其中一环，跑通流程后再决定。

补充练习

定时提醒与汇总

准备材料：团队群聊或任务看板。

每天下午 6 点汇总今日新增和逾期任务，按负责人分组发送提醒，周五额外输出一周完成情况。

验收标准：提醒内容与看板一致。

发票与单据提取

准备材料：一批 PDF 发票或收据。

从这些单据中提取开票日期、金额、销售方名称和税号，输出为表格；任何字段识别置信度低时留空并标红，不要猜测。

检查点：低置信度字段留空。

线索整理流程

准备材料：每天从表单收到的客户咨询。

搭建一个流程：新表单提交后，AI 判断咨询类型（报价 / 售后 / 合作 / 其他），提取联系人和需求摘要写入表格，报价类自动通知销售群。分类不确定时标记为「待人工」。

验收标准：不确定的情况进入人工。

常见问题：调用外部系统失败

增加重试和失败通知，记录请求参数便于排查。

常见问题：智能体陷入循环

设置最大步数和超时，关键步骤改为固定工作流。

常见问题：误发消息给客户

对外发送前加人工审批节点，测试环境与正式环境分开。

概念补充：智能体（Agent）

由模型自主决定步骤和工具调用，灵活但需要更多护栏。

概念补充：工具调用

模型调用外部 API 或函数完成动作的能力。

适合人群：电商运营

电商运营可以用 LiteLLM 处理商品详情与主图、活动方案与客服话术等工作。需要注意：商品参数和促销规则必须与后台一致，避免虚假宣传。

使用提醒

文中提示词和示例仅作示意，实际效果取决于你的材料和 LiteLLM 当前版本，重要内容请人工核对后再使用。

涉及个人信息、商业机密或受监管数据时，先确认 LiteLLM 的数据处理条款，再决定能否使用。

延伸阅读