标签：显存优化

KV Cache 详解：为什么大模型推理那么吃显存

部署大模型时，很多人发现模型权重放得下，一跑长对话或高并发就显存不足，罪魁祸首往往是 KV Cache。本文用通俗方式解释 KV Cache 的作用、显存占用如何估算，以及分组查询注意力、缓存量化、分页管理和前缀复用等主流优化手段。