微调 on AI 观察

LoRA 微调原理与实践：用少量显存定制大模型

Sun, 16 Aug 2026 11:19:51 +0800

全量微调一个数十亿参数的模型，需要为所有参数保存梯度和优化器状态，显存需求往往是模型本身的数倍，普通团队很难承受。LoRA（Low-Rank Adaptation，低秩适配）的核心思路是：冻结原模型的全部参数，只训练一小组新增的低秩矩阵，用很小的代价实现对模型行为的定向调整。它已经成为开源社区定制模型的事实标准。

微调还是提示词？大模型定制化的决策指南

Wed, 12 Aug 2026 14:23:58 +0800

很多团队在大模型项目初期都会纠结：要不要微调？微调听起来更“专业”，似乎能让模型真正掌握业务知识。但实际上，大多数问题用提示工程和检索增强就能解决，微调更适合解决“行为和格式”问题，而不是“知识”问题。 选错方案，往往意味着投入大量数据标注和训练成本，却得不到预期效果。

微调数据集构建指南：数据量、格式、质量标准与常见错误

Fri, 24 Jul 2026 18:44:57 +0800

决定微调一个大模型之后，很多团队把精力放在选择基础模型、配置训练参数上，却在数据准备上草草了事。结果往往是：训练过程很顺利，损失曲线很漂亮，但微调后的模型并没有达到预期效果，甚至在某些方面变得更差。微调的本质是让模型从数据中学习，数据的质量直接决定了模型能学到什么。 构建一个高质量的微调数据集，是微调项目中最重要的工作。