Mixture of Experts (MoE)：稀疏激活的专家模型
16 Mixture of Experts (MoE)：稀疏激活的专家模型
算法 Leader 每日深入简述 · 第 16 天 Dense 模型扩大参数量，FLOPs 也线性涨，训得起用不起。**Mixture of Experts（MoE）**用稀疏激活破局——每个 token 只路由到 Top-K 个"专家"子网络，让模型拥有万亿参数、单步只激活几百亿。Mixtral 8x7B、DeepSeek-MoE、传闻的 GPT-4 都采用这一范式。MoE 把大模型从"参数=算力"的紧耦合里解放出来，是万亿规模时代的工程必修课。
一、算法概览
MoE（Mixture of Experts） 是一种稀疏激活架构，核心思想是把 Transformer 的 FFN 层替换为多个并行的"专家"子网络，由门控网络（Router/Gating）为每个 token 动态选择 Top-K 个专家进行计算，其余专家不参与前向。这样模型总参数量与单步激活参数量解耦——可以让模型拥有万亿参数，但单次推理只激活其中几百亿。代表实现包括 Mixtral 8x7B（总参数 47B、激活 13B）、DeepSeek-MoE、Switch Transformer。MoE 的难点不在前向，而在负载均衡（防止专家塌缩）、专家并行通信、以及训练稳定性。
二、历史背景与问题起源
2.1 Dense 模型的扩展瓶颈
Scaling Law 告诉我们：模型越大效果越好。但 Dense 模型的训练与推理 FLOPs 与参数量成正比，万亿参数意味着万亿 FLOPs——训得起也用不起。工业部署更需要"参数大但单步算力小"的模型，这就是条件计算（Conditional Computation）的动机。
2.2 MoE 思想起源
MoE 并非新概念，1991 年 Jacobs 等人提出 "Adaptive Mixtures of Local Experts"，初衷是解决多任务学习中"专家冲突"——多个任务共享网络会互相干扰，于是让不同专家学不同子任务，由门控决定调度。进入深度学习时代，Eigen 等人（2013）把 MoE 引入深度网络，但受限于规模。
2.3 现代大模型 MoE 的诞生
真正突破来自 Shazeer 等人 2017 年的 Sparsely-Gated MoE Layer，用 Top-K 稀疏门控把 MoE 推向百亿参数级。随后 GShard（2020）与 Switch Transformer（2021）把 MoE 与 Transformer 结合并扩展到万亿参数，奠定现代大模型 MoE 范式。2023-2024 年 Mixtral 8x7B、DeepSeek-MoE 把开源 MoE 推向实用，传闻 GPT-4 也是 MoE 架构。
三、核心原理深入
3.1 直观类比：医院分诊
MoE 像一家大医院：每个 token 是一位患者，Router 是分诊台，专家是不同科室医生。患者不会让所有医生都看一遍（Dense 模型做法），而是根据症状被分配给少数几位最对症的医生（Top-K）。这样医院可以养很多医生（参数多），但每位患者只占用少数医生时间（算力省）。
3.2 门控与路由
MoE 模块通常替换 Transformer FFN 层。设有 N 个专家 E_1, E_2, ..., E_N，输入 x，Router 是一个线性层，先计算每个专家的 logit：
logits = x · W_g # W_g 形状 [d, N]
然后做 Top-K 选择（通常 K=1 或 K=2），只保留最大的 K 个 logit，其余置负无穷后做 softmax：
g(x) = softmax(TopK(x · W_g, K))
最终输出是 K 个被选中专家输出的加权和：
y = Σ_{i ∈ TopK} g_i(x) · E_i(x)
未被选中的专家不参与计算，反向传播也不更新其参数——这就是稀疏激活的来源。
3.3 三个关键技术难点
1. 负载均衡（Load Balancing）：若不加约束，Router 会塌缩到少数几个专家（winner-takes-all），其他专家收不到梯度而"死亡"。Switch Transformer 引入辅助损失：
L_aux = α · N · Σ_i (f_i · P_i)
f_i = 分配到专家 i 的 token 比例
P_i = Router 对专家 i 的平均概率
f_i · P_i 在 token 完全均匀分布时最小（f_i = 1/N, P_i = 1/N），从而驱动 Router 向均衡方向走。还常配合向 logits 加高斯噪声增加探索。
2. 容量因子（Capacity Factor）：每个专家每步最多处理 C = (tokens_per_batch / N) · capacity_factor 个 token，超出的 token 被丢弃或传给下一层。这避免了某些专家过载导致显存爆炸，但 dropped token 会损失信息，需调容量因子权衡。
3. 专家并行（Expert Parallelism）：当专家数巨大（如 64 个）时，把不同专家分布到不同 GPU，Router 算完后通过 all-to-all 通信把 token 发往对应 GPU，计算完再发回。通信开销成为瓶颈，需要 overlap 计算与通信、调整专家粒度等优化。
4.4 复杂度对比
设 d 是隐藏维度、N 是专家数、K 是激活数、n 是序列长：
- Dense FFN：O(n · d² · 4)（FFN 中间维度通常 4d）
- MoE 前向：O(n · d² · 4 · K)（只算 K 个专家）
- MoE 总参数：O(N · d² · 4)（所有专家常驻显存）
MoE 用 N 倍参数换 K 倍算力，正是其威力所在。
四、训练/推理流程
训练：Router 与专家联合训练。每个 token 只激活 K 个专家，反向传播也只更新被激活专家的参数。需配合负载均衡损失、Router 的 z-loss（防止 logits 过大导致 softmax 数值不稳）、噪声注入。分布式训练常用 Expert Parallelism + 数据并行：专家分布在多卡，数据并行在另一维度。
推理：所有专家权重必须常驻显存（否则切换开销大），但单次前向只激活 K 个专家，因此 FLOPs 远低于同等参数 Dense 模型。瓶颈从算力转向显存带宽——batch 较小时尤其明显。Mixtral 8x7B 实际激活参数约 13B，总参数 47B；同质量 Dense 模型可能要 70B。但显存压力更大，需配 PagedAttention、KV Cache 量化等手段。
五、与其他算法的关系
- 与 Dense Transformer 对比：相同训练 FLOPs 下 MoE 质量更高；相同质量下 MoE 推理 FLOPs 更省，但显存占用大、batching 效率低、训练不稳定。
- 与 Ensemble 对比：MoE 是单模型内部分工，底层 embedding 层共享；Ensemble 是多个独立模型投票，成本高得多，本质不同。
- 与 Switch Transformer / GShard / Mixtral / DeepSeek-MoE 的关系：都是 MoE 的具体实现变种，主要在路由策略（Top-1、Top-2、细粒度专家+共享专家）、负载均衡方法上有所差异。DeepSeek-MoE 引入"共享专家"（必激活）+"路由专家"，效果显著提升。
- 与条件计算一脉相承：MoE 是条件计算在深度学习中最成功的实例化，本质是"输入决定计算图"。
- 与 KV Cache / Flash Attention 正交：MoE 改 FFN，KV Cache/Flash Attention 改 Attention，可叠加。
六、关键论文与引用
| 论文 | 年份 | 核心贡献 | 链接 |
|---|---|---|---|
| Adaptive Mixtures of Local Experts | 1991 | MoE 原始思想 | Neural Computation 1991 |
| Outrageously Large NNs (Sparsely-Gated MoE) | 2017 | Top-K 稀疏门控 | https://arxiv.org/abs/1701.06538 |
| GShard | 2020 | 万亿参数 MoE 训练框架 | https://arxiv.org/abs/2006.16668 |
| Switch Transformer | 2021 | Top-1 路由简化 | https://arxiv.org/abs/2101.03961 |
| ST-MoE | 2022 | 稳定性与微调技术 | https://arxiv.org/abs/2202.08906 |
| Mixtral 8x7B | 2023 | 开源 MoE 大模型 | https://arxiv.org/abs/2401.04088 |
| DeepSeek-MoE | 2024 | 细粒度专家+共享专家 | https://arxiv.org/abs/2401.06066 |
七、实践思考（Leader 视角）
作为 Leader，我对 MoE 的核心判断：MoE 不是"免费的午餐"，它用显存换算力。在 GPU 显存充裕、batch 较大的服务场景非常划算；但在边缘部署、单卡低延迟场景，Dense 小模型往往更优。评估 MoE 不要只看总参数量，要看激活参数量和实际吞吐。团队选型时，先确认业务是显存敏感还是算力敏感——前者 Dense，后者 MoE。微调 MoE 比 Dense 更易过拟合，需特别小心学习率与专家 droplet。
常见误区：
| 误区 | 事实 |
|---|---|
| 专家越多越好 | 专家数过多导致通信开销大、路由稀疏化，需配细粒度设计 |
| MoE 一定比 Dense 快 | 推理显存带宽受限，小 batch 可能更慢 |
| Top-1 路由质量差 | 配合负载均衡与容量因子，Top-1 也能高效 |
| 微调与 Dense 相同 | MoE 微调易过拟合，需调整学习率、专家 droplet |
| 总参数决定质量 | 激活参数与路由设计同样关键 |
下期预告
下一篇：17 — KV Cache：推理加速的核心技术。我们将深入 KV Cache 如何复用历史 token 的 Key/Value，把自回归推理每步复杂度从 O(n²) 降到 O(n)，并讨论其显存占用、PagedAttention 分页管理、MQA/GQA 等结构优化策略。