LoRA on AI 观察https://ai.wujiong.cc/tags/lora/Recent content in LoRA on AI 观察Hugozh-CNSun, 16 Aug 2026 11:19:51 +0800LoRA 微调原理与实践：用少量显存定制大模型https://ai.wujiong.cc/posts/2026-08-16-lora-explained/Sun, 16 Aug 2026 11:19:51 +0800https://ai.wujiong.cc/posts/2026-08-16-lora-explained/<p>全量微调一个数十亿参数的模型，需要为所有参数保存梯度和优化器状态，显存需求往往是模型本身的数倍，普通团队很难承受。<strong>LoRA（Low-Rank Adaptation，低秩适配）的核心思路是：冻结原模型的全部参数，只训练一小组新增的低秩矩阵</strong>，用很小的代价实现对模型行为的定向调整。它已经成为开源社区定制模型的事实标准。</p>