https://ai.wujiong.cc/tags/%E6%8E%A8%E7%90%86%E6%95%88%E7%8E%87/Recent content in 推理效率 on AI 观察Hugozh-CNSat, 08 Aug 2026 08:42:58 +0800https://ai.wujiong.cc/posts/2026-08-08-moe-architecture/Sat, 08 Aug 2026 08:42:58 +0800https://ai.wujiong.cc/posts/2026-08-08-moe-architecture/<p>浏览开源模型发布信息时，你可能经常看到这样的描述：“总参数量数千亿，激活参数数百亿”。这类模型采用的就是<strong>混合专家（Mixture of Experts，MoE）架构</strong>。它的核心理念是：模型里有很多“专家”子网络，但每处理一个 Token 时只调用其中少数几个。这样既能用庞大的参数存储更多知识，又不必为每次推理付出全部参数的计算代价。</p>