KV Cache 显存怎么估算：公式、示例与降低占用的办法

Sat, 17 Oct 2026 14:57:00 +0800

KV Cache 的显存占用可以用一个公式估算：每个 token 的 KV 字节数 = 2 × 层数 × KV 头数 × 每头维度 × 每个元素的字节数，再乘以序列长度和并发序列数。部署前算一遍，就能知道在给定显卡上能支撑多长的上下文和多少并发。

为什么要算 KV Cache

推理时显存主要分给三部分：模型权重、KV Cache、运行时开销（激活、框架缓冲等）。权重大小相对固定，KV Cache 则随上下文长度 × 并发数线性增长。很多「模型能加载，但一上并发就显存不足」的问题，原因就在这里。