深度感知的专家掩码分析：揭示MoE模型层间敏感性与压缩潜力
混合专家（Mixture-of-Experts, MoE）架构通过稀疏激活在扩展大语言模型（LLM）规模的同时保持计算效率，已成为当前主流模型（如GPT-4、Mixtral）的核心设计。然而，不同MoE层对模型整体性能的相对重要性仍缺乏系统研究，尤其在模型压缩场景下。一篇新近发表于arXiv的论文（编号2608.13565）针对这一空白，对Qwen3.6-35B-A3B模型（40个MoE层，每层256个专家，top-8路由）进行了逐层敏感性分析，采用基于幅度的专家掩码方法，并在跨语言代码翻译基准XLCoST上评估。
研究在三个H100 GPU服务器上进行了多阶段实验，覆盖100、300和500个提示的评估规模。核心发现是层敏感性具有强烈的深度依赖性：早期层（0-9）和中间层（10-29）对专家掩码高度脆弱，而后期层（30-39），尤其是极后期层（35-39），能够容忍对低幅度专家的激进掩码。具体数据表明，在300提示规模下，对所有层统一掩码30%的专家仅保留150/300的“好+相似”输出，而聚焦后期层的策略在掩码640-1,145个专家的同时保留了249-255/300的输出。在后续500提示的保留验证集上，狭窄的极后期策略（层35-39掩码50%）实现了最佳的质量/掩码专家权衡，仅掩码10,240个专家中的640个，便保留了419/500的输出。
此外，论文还初步探索了将top-k路由宽度从8减少到6个活跃专家，在100提示的探测中观察到显著的墙钟时间减少，且未损失“好+相似”输出，但该策略与激进专家掩码的组合尚不理想。这些发现为深度感知的MoE专家掩码提供了实证基础，并为物理权重手术、基于激活的专家评分和基于训练的性能恢复铺平了道路。
意义与展望：这项研究对MoE模型的压缩与部署具有重要价值。传统剪枝方法往往对所有层一视同仁，而该研究揭示了“后期层冗余”的规律，意味着可以在不牺牲性能的前提下大幅减少专家数量，从而降低推理成本。未来，结合激活感知的专家评分和微调恢复，有望实现更高效的MoE模型轻量化。不过，当前实验仅基于单一模型和代码翻译任务，其结论的泛化性仍需在更多模型和任务上验证。