https://ai.wujiong.cc/tags/%E5%BB%B6%E8%BF%9F%E4%BC%98%E5%8C%96/Recent content in 延迟优化 on AI 观察Hugozh-CNTue, 08 Sep 2026 19:26:16 +0800https://ai.wujiong.cc/posts/2026-09-08-llm-latency-optimization/Tue, 08 Sep 2026 19:26:16 +0800https://ai.wujiong.cc/posts/2026-09-08-llm-latency-optimization/<p>一个 AI 功能再聪明，如果用户每次都要盯着加载动画等上十几秒，体验也会大打折扣。<strong>大模型应用的延迟由多个环节叠加而成，优化时需要先测量各环节的耗时，找到真正的瓶颈，再对症下药。</strong> 很多时候，不需要更换硬件或模型，仅靠架构和交互设计的调整，就能让用户感受到的速度明显提升。</p>https://ai.wujiong.cc/posts/2026-08-23-speculative-decoding/Sun, 23 Aug 2026 17:22:56 +0800https://ai.wujiong.cc/posts/2026-08-23-speculative-decoding/<p>大模型生成文本时，每次只能输出一个 Token，而且每个 Token 都需要完整地运行一遍大模型。在低并发场景下，GPU 的大部分算力其实处于闲置状态，瓶颈在于反复从显存读取模型权重。<strong>投机解码（Speculative Decoding）巧妙地利用了这些闲置算力：先让一个小模型快速“猜”出接下来的几个 Token，再让大模型一次性并行验证这些猜测。</strong> 猜对了就一次前进多步，猜错了也不会影响输出质量。</p>