https://ai.wujiong.cc/tags/%E6%89%B9%E5%A4%A7%E5%B0%8F/Recent content in 批大小 on AI 观察Hugozh-CNSat, 17 Oct 2026 11:52:40 +0800https://ai.wujiong.cc/posts/2026-10-17-hardware-vllm-batch-sizing-faq/Sat, 17 Oct 2026 11:52:40 +0800https://ai.wujiong.cc/posts/2026-10-17-hardware-vllm-batch-sizing-faq/<p>批太大，延迟尾部变差；批太小，GPU 吃不饱。没有放之四海的魔法数字，只有「目标延迟 + 显存 + 观测」的回路。</p> <h2 id="faq">FAQ</h2> <h3 id="先定什么">先定什么？</h3> <p>先定服务目标：P95 延迟预算、是否流式、上下文长度分布。再谈提高吞吐。</p> <h3 id="和-max_num_seqs--连续批处理有何关系">和 max_num_seqs / 连续批处理有何关系？</h3> <p>它们共同约束同时驻留的请求。调参时一次只改一类旋钮，并记录前后指标，否则无法归因。</p>