标签：推理优化

共 3 篇关于「推理优化」的文章。

2026年10月3日 · 推理与硬件

KV Cache 详解：为什么大模型推理那么吃显存

部署大模型时，很多人发现模型权重放得下，一跑长对话或高并发就显存不足，罪魁祸首往往是 KV Cache。本文用通俗方式解释 KV Cache 的作用、显存占用如何估算，以及分组查询注意力、缓存量化、分页管理和前缀复用等主流优化手段。

2026年9月12日 · 开源模型

量化通过降低模型权重的数值精度，让大模型体积缩小数倍、在更便宜的硬件上运行。本文解释量化的基本原理、常见精度级别和格式（如 GGUF、GPTQ、AWQ）的区别、量化对不同任务效果的影响，以及如何为自己的场景选择合适的量化方案。

2026年9月8日 · 推理与硬件

用户对 AI 应用最直接的抱怨之一就是“太慢了”。本文拆解大模型应用延迟的构成，包括网络、检索、预填充、生成和后处理各环节，并给出流式输出、精简提示、模型路由、并行调用、缓存和交互设计等可立即落地的优化清单。