推理与硬件 on AI 观察

端侧小模型崛起：为什么「够用」正在打败「最强」

Fri, 16 Oct 2026 08:50:02 +0800

过去两年，行业叙事几乎被同一句话主导：参数越大、能力越强。2026 年的另一条曲线却越来越清晰——大量真实产品并不需要「最强」模型，只需要「足够稳、足够快、足够便宜」的本地推理。端侧小模型（Small Language Models，SLM）正从 demo 走向默认选项。

KV Cache 详解：为什么大模型推理那么吃显存

Sat, 03 Oct 2026 17:46:35 +0800

部署大模型时，一个常见的困惑是：模型权重明明只占了显存的一半，为什么并发稍微高一点、对话稍微长一点就报显存不足？答案通常是 KV Cache（键值缓存）。它是大模型推理中除权重之外最大的显存消耗者，并且随上下文长度和并发数线性增长。 理解 KV Cache，是做好推理部署和成本规划的基础。

大模型 API 成本优化：缓存、模型路由与提示词压缩实战

Wed, 30 Sep 2026 11:32:51 +0800

AI 功能刚上线时，调用量不大，成本还不明显。随着用户增长、功能增多，很多团队会突然发现每月的 API 账单已经成为一笔不小的开支。大模型成本优化的空间往往比想象中大，而且很多优化并不会牺牲效果。 关键是先看清钱花在了哪里，再有针对性地采取措施。

第一步：分析成本构成

在优化之前，先建立成本的可观测性：

降低大模型应用延迟：从首 Token 时间到流式输出的优化清单

Tue, 08 Sep 2026 19:26:16 +0800

一个 AI 功能再聪明，如果用户每次都要盯着加载动画等上十几秒，体验也会大打折扣。大模型应用的延迟由多个环节叠加而成，优化时需要先测量各环节的耗时，找到真正的瓶颈，再对症下药。 很多时候，不需要更换硬件或模型，仅靠架构和交互设计的调整，就能让用户感受到的速度明显提升。

大模型推理 GPU 选型：显存、带宽与性价比怎么权衡

Mon, 07 Sep 2026 11:51:06 +0800

决定自建大模型推理服务后，第一个问题就是：买什么 GPU？用多少张？很多人只看算力指标，结果发现显存不够、模型放不下；或者买了高端卡，实际利用率却很低。大模型推理对硬件的需求与传统深度学习训练不同，显存容量和显存带宽往往比峰值算力更关键。 理解这些指标的含义，才能做出性价比合理的选择。

投机解码：在不损失质量的前提下加速大模型输出

Sun, 23 Aug 2026 17:22:56 +0800

大模型生成文本时，每次只能输出一个 Token，而且每个 Token 都需要完整地运行一遍大模型。在低并发场景下，GPU 的大部分算力其实处于闲置状态，瓶颈在于反复从显存读取模型权重。投机解码（Speculative Decoding）巧妙地利用了这些闲置算力：先让一个小模型快速“猜”出接下来的几个 Token，再让大模型一次性并行验证这些猜测。 猜对了就一次前进多步，猜错了也不会影响输出质量。

vLLM 推理服务入门：PagedAttention 与连续批处理如何提升吞吐

Mon, 10 Aug 2026 10:11:51 +0800

把开源模型从“能在笔记本上跑起来”变成“能稳定服务成百上千个并发用户”，需要专门的推理引擎。vLLM 是这一领域最流行的开源方案之一，它最初来自学术研究，核心贡献是 PagedAttention 显存管理技术和连续批处理调度，让同样的 GPU 能够服务更多请求。理解它的原理，能帮助你更好地部署和调优大模型服务。

AI PC 与 NPU：本地 AI 算力到底有什么用

Thu, 23 Jul 2026 11:30:05 +0800

近年来，各大芯片厂商和电脑品牌都在推广“AI PC”的概念，手机发布会上也频繁出现“端侧大模型”“NPU 算力”等字眼。NPU（神经网络处理单元）是专门为 AI 计算设计的处理器，它的核心价值在于以很低的功耗持续运行 AI 任务。 但对于普通用户和企业来说，更关心的问题是：这些本地 AI 算力，到底能带来什么实际价值？