用户体验 on AI 观察

降低大模型应用延迟：从首 Token 时间到流式输出的优化清单

Tue, 08 Sep 2026 19:26:16 +0800

一个 AI 功能再聪明，如果用户每次都要盯着加载动画等上十几秒，体验也会大打折扣。大模型应用的延迟由多个环节叠加而成，优化时需要先测量各环节的耗时，找到真正的瓶颈，再对症下药。 很多时候，不需要更换硬件或模型，仅靠架构和交互设计的调整，就能让用户感受到的速度明显提升。

Wed, 08 Jul 2026 19:41:26 +0800

传统软件的设计建立在确定性之上：点击同一个按钮，总是得到同样的结果。AI 产品打破了这一前提：同样的输入可能产生不同的输出，大多数时候结果很好，偶尔却会出现明显错误。 这要求产品经理和设计师用新的思路设计体验，不是假装 AI 永远正确，而是为它的不确定性做好准备。