大模型原理 on AI 观察

Transformer 架构通俗讲解：注意力机制到底在算什么

Fri, 18 Sep 2026 20:03:24 +0800

如果只用一句话概括：Transformer 让序列中的每个词都能直接“看到”其他所有词，并根据相关程度决定从谁那里获取信息。 今天几乎所有主流大语言模型都建立在这个架构之上。理解它，不是为了自己从零训练模型，而是为了更准确地判断模型为什么擅长某些任务、又为什么会在另一些任务上出错。

大模型幻觉从哪里来？成因分析与工程上的缓解方法

Sun, 02 Aug 2026 21:23:13 +0800

“幻觉”指大模型生成看似合理、实则错误或无中生有的内容：编造不存在的论文、给出错误的法规条款、虚构一个产品功能。它是大模型落地中最常见、也最难彻底消除的问题。好消息是，虽然无法从根本上杜绝，但通过理解成因并在工程上层层设防，可以把它的影响控制在可接受范围内。

上下文窗口越长越好吗？长上下文大模型的能力边界与使用技巧

Fri, 31 Jul 2026 10:47:59 +0800

上下文窗口指模型在一次请求中能处理的最大 Token 数，包括输入的提示、文档、历史对话以及模型生成的输出。过去几年，这个数字增长得非常快，很多模型都宣传能“一次读完一本书”。但在实际项目中，上下文越长，并不意味着效果线性变好。理解其中的边界，才能决定什么时候直接塞长文本，什么时候应该换用检索等方案。