私有化部署 on AI 观察

自建大模型推理还是调用 API？一套实用的成本测算框架

Fri, 11 Sep 2026 14:59:00 +0800

当大模型应用的调用量逐渐增长，API 账单越来越高时，团队里总会有人提议：“我们自己部署开源模型吧，长期看更便宜。”这个判断可能正确，也可能大错特错。自建推理的真实成本远不只是 GPU 租金，而 API 的价格也在持续下降。 做决定之前，需要一套完整的测算框架。

大模型推理 GPU 选型：显存、带宽与性价比怎么权衡

Mon, 07 Sep 2026 11:51:06 +0800

决定自建大模型推理服务后，第一个问题就是：买什么 GPU？用多少张？很多人只看算力指标，结果发现显存不够、模型放不下；或者买了高端卡，实际利用率却很低。大模型推理对硬件的需求与传统深度学习训练不同，显存容量和显存带宽往往比峰值算力更关键。 理解这些指标的含义，才能做出性价比合理的选择。

vLLM 推理服务入门：PagedAttention 与连续批处理如何提升吞吐

Mon, 10 Aug 2026 10:11:51 +0800

把开源模型从“能在笔记本上跑起来”变成“能稳定服务成百上千个并发用户”，需要专门的推理引擎。vLLM 是这一领域最流行的开源方案之一，它最初来自学术研究，核心贡献是 PagedAttention 显存管理技术和连续批处理调度，让同样的 GPU 能够服务更多请求。理解它的原理，能帮助你更好地部署和调优大模型服务。