LoRA 微调原理与实践:用少量显存定制大模型
LoRA 是目前最常用的参数高效微调方法,让普通团队用单张消费级或中端 GPU 就能定制开源大模型。本文解释 LoRA 的核心思想、关键超参数如何设置、与 QLoRA 的区别,以及数据准备、训练和效果评估中的常见坑。
阅读全文 →共 3 篇关于「微调」的文章。
LoRA 是目前最常用的参数高效微调方法,让普通团队用单张消费级或中端 GPU 就能定制开源大模型。本文解释 LoRA 的核心思想、关键超参数如何设置、与 QLoRA 的区别,以及数据准备、训练和效果评估中的常见坑。
阅读全文 →想让大模型更懂你的业务,是写更好的提示词、接入知识库,还是做微调?本文对比提示工程、RAG 与微调三种定制方式的适用问题、成本与维护难度,给出一个按问题类型逐步升级的实用决策流程。
阅读全文 →微调效果的好坏,七成取决于数据。本文系统介绍大模型微调数据集的构建方法:明确目标与数据类型、确定数据量、统一对话格式、制定质量标准、数据来源与清洗、划分训练与测试集,以及数据泄露、格式不一致和过拟合等常见错误。
阅读全文 →