分类：推理与硬件

推理与硬件分类讨论 GPU、推理引擎、KV Cache、批处理、量化与成本优化等话题，帮助工程团队在延迟、吞吐与预算之间找到合适的平衡点，搭建高效的推理服务。

2026年10月16日 · 推理与硬件

端侧小模型崛起：为什么「够用」正在打败「最强」

云端超大模型仍占据评测榜首，但手机、PC 与边缘设备上的端侧小模型正在改写 AI 落地公式。本文说明「够用」何时比「最强」更划算，端侧小模型适合哪些任务，以及选型时该重点关注的延迟、内存与质量指标。

2026年10月3日 · 推理与硬件

部署大模型时，很多人发现模型权重放得下，一跑长对话或高并发就显存不足，罪魁祸首往往是 KV Cache。本文用通俗方式解释 KV Cache 的作用、显存占用如何估算，以及分组查询注意力、缓存量化、分页管理和前缀复用等主流优化手段。

2026年9月30日 · 推理与硬件

AI 功能上线后，API 账单往往增长得比用户数还快。本文从成本构成分析入手，介绍提示缓存、模型路由、提示词精简、批量处理、输出控制和结果缓存等优化方法，帮助团队在不明显影响效果的前提下显著降低大模型使用成本。

2026年9月8日 · 推理与硬件

用户对 AI 应用最直接的抱怨之一就是“太慢了”。本文拆解大模型应用延迟的构成，包括网络、检索、预填充、生成和后处理各环节，并给出流式输出、精简提示、模型路由、并行调用、缓存和交互设计等可立即落地的优化清单。

2026年9月7日 · 推理与硬件

部署大模型时，GPU 选型直接决定了能跑多大的模型、支持多少并发以及每 Token 的成本。本文解释显存容量、显存带宽、算力和互联带宽分别影响什么，给出根据模型规模和负载估算硬件需求的方法，以及购买、租用和国产化方案的考虑因素。

2026年8月23日 · 推理与硬件

投机解码让一个小而快的“草稿模型”先猜测后续多个 Token，再由大模型一次性验证，在保证输出分布不变的前提下显著提升生成速度。本文解释其原理、常见变体、适用条件和部署时需要权衡的因素。

2026年8月10日 · 推理与硬件

vLLM 是目前最常用的开源大模型推理引擎之一，凭借 PagedAttention 和连续批处理显著提升了 GPU 利用率和并发吞吐。本文解释这两项核心技术的原理，介绍部署时的关键参数、性能调优思路以及与其他推理方案的选型对比。

2026年7月23日 · 推理与硬件

越来越多的笔记本电脑和手机宣传内置 NPU、支持本地 AI。NPU 和 GPU 有什么区别？本地 AI 能做哪些事、不能做哪些事？本文解释 NPU 的定位与优势，梳理端侧 AI 的典型应用，并为个人用户和企业采购提供务实建议。