Director：面向分布式MoE服务的在线主动专家放置系统
混合专家模型（MoE）凭借其稀疏激活特性，已成为大语言模型主流架构之一。但在分布式推理场景中，如何高效地将不同专家（Expert）分配到各GPU上，始终是影响端到端延迟的关键瓶颈。现有方案多基于历史请求的专家激活模式进行静态或离线优化，面对多样且快速变化的请求流量时显得力不从心。
最新发表于arXiv的论文《Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement》提出了一套全新的在线主动式专家放置框架，旨在从根本上解决这一挑战。该研究已被INFOCOM 2026接收。
核心挑战与设计思路
Director的设计围绕三大难点展开：
- 请求的专家激活模式存在不确定性，无法提前预知每个请求会触发哪些专家；
- 专家迁移本身有成本，频繁移动专家会引入额外通信开销与服务中断；
- 放置优化是NP难问题，在大规模集群中寻找最优解几乎不可能。
为此，Director采用预测驱动、在线迁移的策略。系统首先通过一个轻量级级联预测器（cascaded predictor）或低位量化副本（low-bit quantized replica），对即将到来的请求进行专家激活模式预测。随后，在线迁移模块在计算密集阶段（compute-bound phase）执行专家迁移，将服务中断时间降至接近零。
松弛优化的数学保证
在优化器层面，Director设计了一个基于松弛（relaxation-based）的在线放置算法，在容量约束下运行于多项式时间，并实现了 (1+ε) 近似比的数学保证。这意味着算法能在有限时间内给出接近理论最优的放置方案，兼顾了效率与质量。
实测效果：端到端延迟降低11%～55%
研究团队在主流MoE模型（包括Mistral、DeepSeek、Qwen）上进行了全面实验。结果表明，相比现有最优的专家放置方案，Director将端到端推理延迟降低了 11%至55%。这一提升在请求模式剧烈波动时尤为显著，验证了主动预测+在线迁移的有效性。
行业启示
随着DeepSeek-V3、Qwen2.5-MoE等模型在工业界广泛应用，MoE服务的部署效率直接关系到成本和用户体验。Director提出的“预测+在线调整”思路，跳出了传统静态优化的框架，为分布式推理系统提供了新的设计范式。特别是在多租户、高并发场景下，这种自适应能力可能成为未来推理引擎的标配。
不过，该方案仍处于原型阶段，预测器的额外开销、大规模集群下的迁移调度策略等细节还有待进一步工程验证。但无论如何，Director已经为MoE服务系统指明了一条值得深入探索的技术路径。