决定自建大模型推理服务后，第一个问题就是：买什么 GPU？用多少张？很多人只看算力指标，结果发现显存不够、模型放不下；或者买了高端卡，实际利用率却很低。大模型推理对硬件的需求与传统深度学习训练不同，显存容量和显存带宽往往比峰值算力更关键。 理解这些指标的含义，才能做出性价比合理的选择。

关键硬件指标

显存容量：能不能放得下

显存需要容纳三部分内容：

  1. 模型权重：参数量乘以每个参数的字节数。16 位精度下每个参数约 2 字节，8 位约 1 字节，4 位约 0.5 字节；
  2. KV Cache：随上下文长度和并发数增长，往往需要预留大量空间，详见 KV Cache 详解；
  3. 运行时开销：激活值、推理框架本身的占用等。

显存不足时，要么无法加载模型，要么只能大幅降低并发和上下文长度。

显存带宽：生成速度的瓶颈

大模型逐个 Token 生成时，每生成一个 Token 都需要把模型权重从显存中读取一遍。在并发较低时，生成速度主要受限于显存带宽，而不是算力。这就是为什么带宽更高的 GPU 在单用户生成速度上表现更好，也是量化能提升速度的原因之一：需要读取的数据量变少了。

算力：处理输入和高并发的能力

处理长输入（预填充阶段）和高并发批处理时，计算量大幅增加，算力成为瓶颈。对低精度计算（如 8 位浮点）的硬件支持，也会显著影响实际性能。

多卡互联带宽

模型太大需要拆分到多张卡上运行时，卡与卡之间需要频繁交换数据。高速互联技术的带宽远高于普通的 PCIe 通道，对多卡推理的效率影响很大。

估算硬件需求的步骤

1. 确定模型与精度

根据效果测试选定模型规模，再确定量化方案。例如一个中等规模的模型以 8 位量化部署，权重显存需求约等于参数量（以十亿计）对应的 GB 数。量化方案参见模型量化详解。

2. 估算 KV Cache 需求

根据业务的典型上下文长度和目标并发数，估算缓存所需的显存。

3. 留出余量

为运行时开销和流量波动预留一部分显存，不要按 100% 利用率规划。

4. 决定单卡还是多卡

如果单卡显存不足，考虑多卡张量并行，或者选择更大显存的卡。注意多卡并行会带来通信开销。

5. 实测验证

在候选硬件上用推理引擎和真实请求做压测，验证吞吐和延迟是否满足要求，参见 vLLM 推理服务入门。

不同场景的选型思路

  • 开发测试和个人使用：消费级显卡性价比高，配合 4 位量化可以运行中小规模模型；
  • 中小规模生产服务：显存较大的专业推理卡或数据中心卡，平衡显存、带宽和价格；
  • 大规模高并发服务：高端数据中心 GPU 配合高速互联，追求每 Token 最低成本；
  • MoE 模型：显存需求按总参数量估算，速度按激活参数估算，需要大显存，参见混合专家模型；
  • 边缘和终端：考虑带 NPU 的设备或嵌入式 AI 芯片，参见 AI PC 与 NPU。

购买、租用还是云服务

  • 购买：长期稳定的高负载场景下单位成本最低，但前期投入大，需要机房、电力和运维能力，还面临硬件更新换代的风险；
  • 租用云 GPU：灵活，按需扩缩，适合负载波动或需求尚不明确的阶段；
  • 托管推理服务：连推理引擎都不用自己维护，按调用量付费。

整体的成本对比框架可参考自建大模型推理还是调用 API。

国产化与供应考虑

受供应链和合规因素影响，部分企业需要考虑国产 AI 加速芯片。选型时要重点评估：目标模型和推理框架的适配程度、软件生态的成熟度、性能实测数据，以及厂商的技术支持能力。迁移成本往往主要体现在软件适配上。

小结

大模型推理的 GPU 选型，首先看显存容量能否装下权重和 KV Cache，其次看显存带宽决定的生成速度，再看算力和互联带宽对高并发和多卡的支持。按照“确定模型精度—估算缓存—预留余量—实测验证”的步骤规划，并结合购买、租用和托管的成本比较，才能选出性价比最合适的方案。