推理优化 on AI 观察

KV Cache 详解：为什么大模型推理那么吃显存

Sat, 03 Oct 2026 17:46:35 +0800

部署大模型时，一个常见的困惑是：模型权重明明只占了显存的一半，为什么并发稍微高一点、对话稍微长一点就报显存不足？答案通常是 KV Cache（键值缓存）。它是大模型推理中除权重之外最大的显存消耗者，并且随上下文长度和并发数线性增长。 理解 KV Cache，是做好推理部署和成本规划的基础。

模型量化详解：INT8、INT4、GGUF 对大模型效果和速度的影响

Sat, 12 Sep 2026 12:23:05 +0800

一个参数规模不大的开源模型，以原始的 16 位精度存储，也可能需要十几 GB 的显存，这已经超出了很多消费级显卡的容量。量化（Quantization）通过用更少的比特数表示模型参数，把模型体积和显存需求压缩到原来的一半甚至四分之一，让大模型能够在普通电脑、甚至手机上运行。它是开源模型能够普及的关键技术之一。

降低大模型应用延迟：从首 Token 时间到流式输出的优化清单

Tue, 08 Sep 2026 19:26:16 +0800

一个 AI 功能再聪明，如果用户每次都要盯着加载动画等上十几秒，体验也会大打折扣。大模型应用的延迟由多个环节叠加而成，优化时需要先测量各环节的耗时，找到真正的瓶颈，再对症下药。 很多时候，不需要更换硬件或模型，仅靠架构和交互设计的调整，就能让用户感受到的速度明显提升。