标签：延迟优化

共 2 篇关于「延迟优化」的文章。

2026年9月8日 · 推理与硬件

降低大模型应用延迟：从首 Token 时间到流式输出的优化清单

用户对 AI 应用最直接的抱怨之一就是“太慢了”。本文拆解大模型应用延迟的构成，包括网络、检索、预填充、生成和后处理各环节，并给出流式输出、精简提示、模型路由、并行调用、缓存和交互设计等可立即落地的优化清单。

2026年8月23日 · 推理与硬件

投机解码让一个小而快的“草稿模型”先猜测后续多个 Token，再由大模型一次性验证，在保证输出分布不变的前提下显著提升生成速度。本文解释其原理、常见变体、适用条件和部署时需要权衡的因素。