VLLM on AI 观察https://ai.wujiong.cc/tags/vllm/Recent content in VLLM on AI 观察Hugozh-CNMon, 10 Aug 2026 10:11:51 +0800vLLM 推理服务入门：PagedAttention 与连续批处理如何提升吞吐https://ai.wujiong.cc/posts/2026-08-10-vllm-inference/Mon, 10 Aug 2026 10:11:51 +0800https://ai.wujiong.cc/posts/2026-08-10-vllm-inference/<p>把开源模型从“能在笔记本上跑起来”变成“能稳定服务成百上千个并发用户”，需要专门的推理引擎。<strong>vLLM 是这一领域最流行的开源方案之一，它最初来自学术研究，核心贡献是 PagedAttention 显存管理技术和连续批处理调度</strong>，让同样的 GPU 能够服务更多请求。理解它的原理，能帮助你更好地部署和调优大模型服务。</p>