LiteLLM 老手才知道的用法
先说清楚它是什么：LiteLLM 属于「智能体与自动化」方向的开源项目，用统一接口调用上百种模型并做路由、限额的开源网关。
这些技巧适合已经会基本操作、想进一步提效的用户。
8 条进阶用法
- 给一个你满意的样例，让它模仿结构而不是复制内容。
- 要求输出「不确定清单」，把需要人工核实的地方单独列出。
- 把固定的背景和规则保存为预设或模板，避免每次重复输入。
- 遇到瓶颈时，用 Portkey 做一次对照，判断是工具问题还是用法问题。
- 先要大纲或计划，再要全文，复杂任务分两到三步完成。
- 把「工作流（Workflow）」等关键设置弄清楚再调参。
- 长材料分段处理，每段完成后再要一份汇总。
- 敏感信息用代号替换，交付前再换回。
示例：分步完成的写法
线索整理流程
适用情况：手头有每天从表单收到的客户咨询时。
搭建一个流程：新表单提交后，AI 判断咨询类型（报价 / 售后 / 合作 / 其他），提取联系人和需求摘要写入表格，报价类自动通知销售群。分类不确定时标记为「待人工」。
验收标准：不确定的情况进入人工。
延伸练习
多步骤调研任务
准备材料：一个需要多来源信息的问题。
围绕【主题】做调研：先列出调研计划，再分别检索，最后输出带来源的报告。每个结论注明来源链接，来源之间矛盾时并列呈现。
交付前确认：矛盾信息被并列呈现。
知识库问答机器人
适用情况：手头有一批产品文档和 FAQ 时。
用这些文档搭建问答机器人：回答只基于文档，找不到答案时回复「这个问题我需要转给同事」，并记录未解决问题供每周补充文档。
交付前确认：答不出时不编造。
定时提醒与汇总
输入：团队群聊或任务看板。
每天下午 6 点汇总今日新增和逾期任务，按负责人分组发送提醒，周五额外输出一周完成情况。
检查点：提醒内容与看板一致。
常见问题：智能体陷入循环
设置最大步数和超时，关键步骤改为固定工作流。
常见问题：输出格式不稳定
要求结构化输出并做格式校验，不合格时重试。
常见问题：费用超出预期
给每次运行设上限，监控调用次数，先用小模型处理简单步骤。
概念补充：人工审批节点
在关键动作前暂停等待人确认，防止误操作。
概念补充：工具调用
模型调用外部 API 或函数完成动作的能力。
适合人群：数据分析师
数据分析师可以用 LiteLLM 处理取数与 SQL、清洗与可视化等工作。需要注意：确认指标口径，敏感数据脱敏后再交给 AI 处理。
适合人群：HR 与招聘
HR 与招聘可以用 LiteLLM 处理岗位描述撰写、面试题与评估表等工作。需要注意：简历筛选不得以性别、年龄等因素做歧视性判断，候选人信息需妥善保管。
适合人群：财务人员
财务人员可以用 LiteLLM 处理单据识别录入、报表说明与分析等工作。需要注意：财务数据属于敏感信息，优先使用企业版或本地方案，结果需复核。
注意事项
本文基于 LiteLLM 公开的定位与通用用法编写，具体功能、套餐与可用地区以官方页面为准，产品更新后界面和名称可能变化。
文中提示词和示例仅作示意，实际效果取决于你的材料和 LiteLLM 当前版本，重要内容请人工核对后再使用。