https://ai.wujiong.cc/tags/%E6%8A%95%E6%9C%BA%E8%A7%A3%E7%A0%81/Recent content in 投机解码 on AI 观察Hugozh-CNSun, 23 Aug 2026 17:22:56 +0800https://ai.wujiong.cc/posts/2026-08-23-speculative-decoding/Sun, 23 Aug 2026 17:22:56 +0800https://ai.wujiong.cc/posts/2026-08-23-speculative-decoding/<p>大模型生成文本时，每次只能输出一个 Token，而且每个 Token 都需要完整地运行一遍大模型。在低并发场景下，GPU 的大部分算力其实处于闲置状态，瓶颈在于反复从显存读取模型权重。<strong>投机解码（Speculative Decoding）巧妙地利用了这些闲置算力：先让一个小模型快速“猜”出接下来的几个 Token，再让大模型一次性并行验证这些猜测。</strong> 猜对了就一次前进多步，猜错了也不会影响输出质量。</p>