标签：模型架构

混合专家模型（MoE）是什么？为什么越来越多大模型采用它

混合专家模型（MoE）让大模型拥有巨大的总参数量，但每次推理只激活其中一小部分，从而兼顾能力与速度。本文通俗解释 MoE 的路由机制、相对稠密模型的优势与代价，以及它对部署显存和推理成本的实际影响。