先说清楚它是什么:LiteLLM 属于「智能体与自动化」方向的开源项目,用统一接口调用上百种模型并做路由、限额的开源网关。

这篇面向国内用户,讲注册使用要点、合规注意和国产同类的对照。

国内使用前要考虑的事

  • 访问与服务可用性:是否在你所在地区提供服务,以官方说明为准。
  • 支付方式:订阅通常需要境外支付方式,企业采购还要考虑发票。
  • 数据跨境:涉及个人信息或重要数据时,需要评估合规要求。
  • 遵守所在地法律法规与单位的信息安全规定。

国产同类对照

如果你需要国内可直接使用的方案,可以对照了解:扣子、Dify、FastGPT。建议用同一组任务分别测试,比较效果、速度和数据条款。

一个通用测试任务

多步骤调研任务

准备材料:一个需要多来源信息的问题。

围绕【主题】做调研:先列出调研计划,再分别检索,最后输出带来源的报告。每个结论注明来源链接,来源之间矛盾时并列呈现。

检查点:矛盾信息被并列呈现。

延伸练习

竞品信息周报

适用情况:手头有 5 个竞品的公开网站或博客时。

每周一自动抓取这些竞品页面的更新,让 AI 对比上周内容,输出「新增功能 / 价格页面变化 / 新发布文章」三段摘要,并附原始链接。

交付前确认:每条变化都附链接。

发票与单据提取

准备材料:一批 PDF 发票或收据。

从这些单据中提取开票日期、金额、销售方名称和税号,输出为表格;任何字段识别置信度低时留空并标红,不要猜测。

检查点:低置信度字段留空。

知识库问答机器人

输入:一批产品文档和 FAQ。

用这些文档搭建问答机器人:回答只基于文档,找不到答案时回复「这个问题我需要转给同事」,并记录未解决问题供每周补充文档。

交付前确认:答不出时不编造。

常见问题:调用外部系统失败

增加重试和失败通知,记录请求参数便于排查。

常见问题:费用超出预期

给每次运行设上限,监控调用次数,先用小模型处理简单步骤。

常见问题:输出格式不稳定

要求结构化输出并做格式校验,不合格时重试。

概念补充:工具调用

模型调用外部 API 或函数完成动作的能力。

概念补充:智能体(Agent)

由模型自主决定步骤和工具调用,灵活但需要更多护栏。

适合人群:电商运营

电商运营可以用 LiteLLM 处理商品详情与主图、活动方案与客服话术等工作。需要注意:商品参数和促销规则必须与后台一致,避免虚假宣传。

适合人群:新媒体运营

新媒体运营可以用 LiteLLM 处理内容排期、数据复盘等工作。需要注意:活动规则与奖品说明要准确,避免诱导分享等违规玩法。

适合人群:行政与助理

行政与助理可以用 LiteLLM 处理会议安排与纪要、通知公告等工作。需要注意:员工个人信息与内部文件按权限管理。

使用提醒

文中提示词和示例仅作示意,实际效果取决于你的材料和 LiteLLM 当前版本,重要内容请人工核对后再使用。

本文基于 LiteLLM 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。

延伸阅读