LiteLLM 是一款开源项目：用统一接口调用上百种模型并做路由、限额的开源网关。

当数据不能离开公司或个人设备时，就需要考虑自托管或开源路线。

先判断：它能不能自托管

它本身是开源项目，可以自托管：数据留在自己的机器上，但升级、安全补丁与故障排查都要团队自己承担。

决策要点

  • 数据敏感级别：只有内部公开信息时，云端服务通常更省事。
  • 团队是否有人负责运维和安全更新。
  • 硬件投入：本地运行模型需要显卡或较大的内存。
  • 效果差距：用自己的任务实测，不要只看榜单。

可以评估的开源方向包括：Playwright MCP、LangGraph、Activepieces。它们与 LiteLLM 的能力并不完全等同，适合用来承接对数据要求最高的那部分任务。

用同一个任务做对比

线索整理流程

准备材料：每天从表单收到的客户咨询。

搭建一个流程：新表单提交后，AI 判断咨询类型（报价 / 售后 / 合作 / 其他），提取联系人和需求摘要写入表格，报价类自动通知销售群。分类不确定时标记为「待人工」。

交付前确认：不确定的情况进入人工。

自托管上线清单

  • 固定版本号并记录配置。
  • 只在内网暴露服务或加上认证。
  • 设置日志与资源监控。
  • 订阅仓库的版本发布与安全公告。
  • 准备回滚方案。

补充练习

竞品信息周报

输入：5 个竞品的公开网站或博客。

每周一自动抓取这些竞品页面的更新，让 AI 对比上周内容，输出「新增功能 / 价格页面变化 / 新发布文章」三段摘要，并附原始链接。

交付前确认：每条变化都附链接。

知识库问答机器人

适用情况：手头有一批产品文档和 FAQ 时。

用这些文档搭建问答机器人：回答只基于文档，找不到答案时回复「这个问题我需要转给同事」，并记录未解决问题供每周补充文档。

验收标准：答不出时不编造。

多步骤调研任务

准备材料：一个需要多来源信息的问题。

围绕【主题】做调研：先列出调研计划，再分别检索，最后输出带来源的报告。每个结论注明来源链接，来源之间矛盾时并列呈现。

验收标准：矛盾信息被并列呈现。

常见问题：误发消息给客户

对外发送前加人工审批节点，测试环境与正式环境分开。

常见问题：费用超出预期

给每次运行设上限，监控调用次数，先用小模型处理简单步骤。

常见问题：调用外部系统失败

增加重试和失败通知，记录请求参数便于排查。

概念补充：智能体（Agent）

由模型自主决定步骤和工具调用，灵活但需要更多护栏。

概念补充：可观测性

记录每一步输入输出与耗时，便于排查和评估。

适合人群：电商运营

电商运营可以用 LiteLLM 处理商品详情与主图、活动方案与客服话术等工作。需要注意：商品参数和促销规则必须与后台一致，避免虚假宣传。

适合人群：行政与助理

行政与助理可以用 LiteLLM 处理会议安排与纪要、通知公告等工作。需要注意：员工个人信息与内部文件按权限管理。

使用提醒

所有示例输出均为示意，不代表真实统计或效果承诺；请以自己的测试结果为准。

涉及个人信息、商业机密或受监管数据时，先确认 LiteLLM 的数据处理条款，再决定能否使用。

延伸阅读