LLaMA-Factory 术语速查:看懂设置和文档的关键词
LLaMA-Factory 是一款开源项目:支持多种模型的一站式开源微调框架。
看文档和设置项时遇到的术语,这里用一两句话解释清楚。
术语表
- 开放权重:公开模型参数可下载使用,但许可证条款各不相同。
- 量化:降低模型参数精度以减少显存占用,可能影响效果。
- GGUF:llama.cpp 生态常用的模型文件格式。
- 推理框架:负责加载模型并高效生成结果的软件。
- LoRA 微调:只训练少量附加参数的低成本微调方法。
- 许可证:规定能否商用、是否需署名等条件,部署前必须阅读。
和 LLaMA-Factory 相关的补充
- 开源项目:LLaMA-Factory 的产品形态,决定了安装、权限和数据存放方式。
- 同类产品:Unsloth、Axolotl、SWIFT。
- 所属方向:本地与开源。
把概念用起来
团队共享服务
适用情况:手头有一台团队共用的服务器时。
把服务部署为团队共享:设置访问认证、按用户记录调用日志、限制单用户并发,并写一份使用说明。
检查点:开启了访问认证。
补充练习
小规模微调
适用情况:手头有几百条高质量问答数据时。
用这批数据做一次 LoRA 微调:划分训练集和验证集,记录训练参数,微调前后用同一批问题对比效果。
检查点:有前后对比。
接入现有应用
准备材料:一个已有的业务系统。
通过兼容 OpenAI 格式的接口把本地服务接入现有系统,设置超时和并发上限,先在测试环境跑通。
验收标准:超时与并发有限制。
模型对比测试
输入:两到三个候选开源模型。
用 20 个真实业务问题测试候选模型,记录回答质量、速度和资源占用,选出最适合的模型。
验收标准:测试问题相同。
常见问题:生成速度很慢
检查是否使用了 GPU 加速,减少上下文长度。
常见问题:升级后不兼容
固定版本号,升级前在测试环境验证。
常见问题:服务对外暴露有风险
只监听内网地址,加认证和反向代理。
概念补充:许可证
规定能否商用、是否需署名等条件,部署前必须阅读。
概念补充:开放权重
公开模型参数可下载使用,但许可证条款各不相同。
适合人群:软件工程师
软件工程师可以用 LLaMA-Factory 处理代码阅读与重构、测试与排错等工作。需要注意:不要把密钥和未开源代码上传到未授权工具,合并前审阅每处改动。
适合人群:咨询顾问
咨询顾问可以用 LLaMA-Factory 处理行业研究、访谈整理等工作。需要注意:客户机密遵守保密协议,研究结论注明来源。
适合人群:数据分析师
数据分析师可以用 LLaMA-Factory 处理取数与 SQL、清洗与可视化等工作。需要注意:确认指标口径,敏感数据脱敏后再交给 AI 处理。
注意事项
本文基于 LLaMA-Factory 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。
涉及个人信息、商业机密或受监管数据时,先确认 LLaMA-Factory 的数据处理条款,再决定能否使用。