标签：推理服务

vLLM 批大小怎么定：吞吐与延迟的实务 FAQ

vLLM 服务如何选择批大小与相关并发参数？用 FAQ 说明延迟目标、显存墙与观测指标，避免只堆 concurrency。本文给排查顺序与记录项，并链到 vLLM 推理基础文；不编造基准分数。