大模型基础 on AI 观察

RLHF 与 DPO：大模型对齐技术入门

Tue, 22 Sep 2026 21:26:10 +0800

一个刚完成预训练的大模型，本质上是一个强大的“文本续写器”：你问它问题，它可能接着编出更多问题，而不是回答。从续写器变成好用的助手，中间经过的关键步骤叫做对齐（alignment），目标是让模型的行为符合人类期望：有用、诚实、无害。了解对齐技术，有助于理解为什么不同模型的“性格”差异那么大，以及为什么模型有时会过度拒答或一味顺着用户说。

推理模型是怎么“想”的？思考型大模型的原理与适用场景

Sat, 19 Sep 2026 08:59:27 +0800

近一两年，各家厂商陆续推出了“推理模型”或“思考模式”：模型在给出最终答案前，会先生成一段较长的内部推理过程。它们在数学竞赛题、复杂编程和多步骤分析任务上明显强于普通对话模型。但推理模型也更慢、Token 消耗更多。搞清楚它擅长什么，才能把钱花在刀刃上。

Transformer 架构通俗讲解：注意力机制到底在算什么

Fri, 18 Sep 2026 20:03:24 +0800

如果只用一句话概括：Transformer 让序列中的每个词都能直接“看到”其他所有词，并根据相关程度决定从谁那里获取信息。 今天几乎所有主流大语言模型都建立在这个架构之上。理解它，不是为了自己从零训练模型，而是为了更准确地判断模型为什么擅长某些任务、又为什么会在另一些任务上出错。

Token 是什么？分词器如何影响大模型的成本与中文效果

Mon, 31 Aug 2026 08:39:51 +0800

使用大模型 API 时，账单、上下文上限、速率限制几乎都以 Token 为单位。简单说，Token 是模型处理文本的最小单元，它可能是一个完整的词、一个词的一部分、一个汉字，甚至只是一个字节片段。把文本切分成 Token 的组件叫做分词器（Tokenizer）。理解它，能帮你更准确地估算成本，也能解释模型一些“奇怪”的错误。

文本向量（Embedding）入门：语义搜索背后的数学直觉

Mon, 24 Aug 2026 15:16:29 +0800

传统搜索靠关键词匹配：搜“笔记本电脑发热”，找不到只写了“手提电脑温度过高”的文章。Embedding（文本向量）把文字映射为高维空间中的一个点，意思相近的文本在空间中距离也近，于是计算机可以按“语义”而不是“字面”来检索。它是语义搜索、RAG 知识库、推荐系统和文本聚类的共同基础。

Temperature、Top-p 怎么调？大模型采样参数实用指南

Sat, 22 Aug 2026 14:57:34 +0800

调用大模型 API 时，除了提示词，还有一组经常被忽略的参数：temperature、top_p、top_k、频率惩罚等。它们控制的是模型如何从候选词中挑选下一个 Token。同样的提示词，参数不同，输出可能从稳定严谨变成天马行空。理解这些参数，是把提示词效果调稳定的基础功。

LoRA 微调原理与实践：用少量显存定制大模型

Sun, 16 Aug 2026 11:19:51 +0800

全量微调一个数十亿参数的模型，需要为所有参数保存梯度和优化器状态，显存需求往往是模型本身的数倍，普通团队很难承受。LoRA（Low-Rank Adaptation，低秩适配）的核心思路是：冻结原模型的全部参数，只训练一小组新增的低秩矩阵，用很小的代价实现对模型行为的定向调整。它已经成为开源社区定制模型的事实标准。

微调还是提示词？大模型定制化的决策指南

Wed, 12 Aug 2026 14:23:58 +0800

很多团队在大模型项目初期都会纠结：要不要微调？微调听起来更“专业”，似乎能让模型真正掌握业务知识。但实际上，大多数问题用提示工程和检索增强就能解决，微调更适合解决“行为和格式”问题，而不是“知识”问题。 选错方案，往往意味着投入大量数据标注和训练成本，却得不到预期效果。

混合专家模型（MoE）是什么？为什么越来越多大模型采用它

Sat, 08 Aug 2026 08:42:58 +0800

浏览开源模型发布信息时，你可能经常看到这样的描述：“总参数量数千亿，激活参数数百亿”。这类模型采用的就是混合专家（Mixture of Experts，MoE）架构。它的核心理念是：模型里有很多“专家”子网络，但每处理一个 Token 时只调用其中少数几个。这样既能用庞大的参数存储更多知识，又不必为每次推理付出全部参数的计算代价。

大模型幻觉从哪里来？成因分析与工程上的缓解方法

Sun, 02 Aug 2026 21:23:13 +0800

“幻觉”指大模型生成看似合理、实则错误或无中生有的内容：编造不存在的论文、给出错误的法规条款、虚构一个产品功能。它是大模型落地中最常见、也最难彻底消除的问题。好消息是，虽然无法从根本上杜绝，但通过理解成因并在工程上层层设防，可以把它的影响控制在可接受范围内。

上下文窗口越长越好吗？长上下文大模型的能力边界与使用技巧

Fri, 31 Jul 2026 10:47:59 +0800

上下文窗口指模型在一次请求中能处理的最大 Token 数，包括输入的提示、文档、历史对话以及模型生成的输出。过去几年，这个数字增长得非常快，很多模型都宣传能“一次读完一本书”。但在实际项目中，上下文越长，并不意味着效果线性变好。理解其中的边界，才能决定什么时候直接塞长文本，什么时候应该换用检索等方案。