标签：显存估算

KV Cache 显存怎么估算：公式、示例与降低占用的办法

部署大模型时 KV Cache 会占多少显存？本文给出按层数、KV 头数、头维度、精度和序列长度计算的公式，用一组示意配置手算一遍，并介绍 GQA、KV 量化、限制上下文长度和分页管理等降低占用的办法。