标签：GPU

大模型推理 GPU 选型：显存、带宽与性价比怎么权衡

部署大模型时，GPU 选型直接决定了能跑多大的模型、支持多少并发以及每 Token 的成本。本文解释显存容量、显存带宽、算力和互联带宽分别影响什么，给出根据模型规模和负载估算硬件需求的方法，以及购买、租用和国产化方案的考虑因素。