选 LiteLLM 方案前先回答这 5 个问题
用统一接口调用上百种模型并做路由、限额的开源网关——这是 LiteLLM 最主要的用途,也是本文讨论的前提。
这篇不列具体价格(以官网为准),而是帮你判断自己属于哪类用户、该选什么方案。
先回答这 5 个问题
- 每周大概用几次?偶尔用还是每天用?
- 是一个人用,还是需要团队共享与权限管理?
- 是否需要接入其他系统(API、集成)?
- 处理的数据是否敏感,需要企业级条款吗?
- 预算由个人承担还是公司报销?
对应的选择
| 你的情况 | 建议 |
|---|---|
| 偶尔使用、先体验 | 免费版或试用,先跑通一个任务 |
| 每天使用的个人 | 个人付费版,按月订阅便于随时调整 |
| 3 人以上协作 | 团队版,关注共享空间、权限与账单管理 |
| 需要接入系统 | API 或开发者方案,按用量计费并设上限 |
| 有合规要求 | 企业版或私有化,先审数据处理协议 |
不同产品的方案名称和权益差异很大,LiteLLM 具体有哪些档位、价格多少,请以官方定价页为准,本文不引用可能过期的价格。
试用期内该测什么
知识库问答机器人
适用情况:手头有一批产品文档和 FAQ 时。
用这些文档搭建问答机器人:回答只基于文档,找不到答案时回复「这个问题我需要转给同事」,并记录未解决问题供每周补充文档。
交付前确认:答不出时不编造。
补充练习
线索整理流程
输入:每天从表单收到的客户咨询。
搭建一个流程:新表单提交后,AI 判断咨询类型(报价 / 售后 / 合作 / 其他),提取联系人和需求摘要写入表格,报价类自动通知销售群。分类不确定时标记为「待人工」。
验收标准:不确定的情况进入人工。
多步骤调研任务
适用情况:手头有一个需要多来源信息的问题时。
围绕【主题】做调研:先列出调研计划,再分别检索,最后输出带来源的报告。每个结论注明来源链接,来源之间矛盾时并列呈现。
验收标准:矛盾信息被并列呈现。
发票与单据提取
输入:一批 PDF 发票或收据。
从这些单据中提取开票日期、金额、销售方名称和税号,输出为表格;任何字段识别置信度低时留空并标红,不要猜测。
验收标准:低置信度字段留空。
常见问题:调用外部系统失败
增加重试和失败通知,记录请求参数便于排查。
常见问题:误发消息给客户
对外发送前加人工审批节点,测试环境与正式环境分开。
常见问题:费用超出预期
给每次运行设上限,监控调用次数,先用小模型处理简单步骤。
概念补充:触发器
启动流程的事件,如新邮件、定时、表单提交。
概念补充:人工审批节点
在关键动作前暂停等待人确认,防止误操作。
适合人群:数据分析师
数据分析师可以用 LiteLLM 处理取数与 SQL、清洗与可视化等工作。需要注意:确认指标口径,敏感数据脱敏后再交给 AI 处理。
注意事项
所有示例输出均为示意,不代表真实统计或效果承诺;请以自己的测试结果为准。
本文基于 LiteLLM 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。