https://ai.wujiong.cc/tags/%E6%98%BE%E5%AD%98%E4%BC%98%E5%8C%96/Recent content in 显存优化 on AI 观察Hugozh-CNSat, 03 Oct 2026 17:46:35 +0800https://ai.wujiong.cc/posts/2026-10-03-kv-cache-explained/Sat, 03 Oct 2026 17:46:35 +0800https://ai.wujiong.cc/posts/2026-10-03-kv-cache-explained/<p>部署大模型时，一个常见的困惑是：模型权重明明只占了显存的一半，为什么并发稍微高一点、对话稍微长一点就报显存不足？<strong>答案通常是 KV Cache（键值缓存）。它是大模型推理中除权重之外最大的显存消耗者，并且随上下文长度和并发数线性增长。</strong> 理解 KV Cache，是做好推理部署和成本规划的基础。</p>