不确定性门控选择：让块稀疏注意力不再“短视”
一句话总结
块稀疏注意力通过为每个查询选择 top-k 键块来降低长上下文语言模型的计算复杂度，但传统 top-k 截断在分数接近时可能遗漏关键信息。新提出的不确定性门控路由器能在这种“犹豫”时刻自动增加保留块数，在多个模型上显著提升召回率，且几乎不增加额外延迟。
背景：长上下文的效率与精度之困
处理超长文本（如 128K token）时，标准 Transformer 的 O(N²) 注意力计算成本过高。块稀疏注意力（Block-sparse Attention）是一种主流加速方案：它将键划分为块，对每个查询只保留得分最高的 k 个块，从而将复杂度降至 O(Nk)。然而，这种“一刀切”的 top-k 选择存在固有缺陷——当第 k 块与第 k+1 块得分非常接近时，选择器仍会硬性截断，而那个被丢弃的块可能恰好包含关键证据，且后续层无法恢复。
方法：给注意力加上“犹豫”机制
Thomas Rossi 提出的 Uncertainty-gated selection（不确定性门控选择）核心是一个 价值信息路由器，它衡量每个查询在 top-k 截断时的决策置信度。具体而言，计算第 k 块与第 k+1 块得分之差，差值越小说明决策越“犹豫”。对于这些低置信度查询，路由器将保留的块数加倍（即 2k），从而在不全局增加预算的前提下，为关键查询提供更多上下文。该路由器与现有块评分方法（如 Quest）正交，可直接叠加使用。
实验结果：显著提升召回，逼近全注意力
在 LongBench-v2 medium（n=215 全子集）上，路由器加持的 Quest 达到 配对召回率 0.75，而传统 top-k 仅为 0.47，提升 28 个百分点（McNemar 检验 p<0.01）。在 RULER NIAH multikey 任务中，相同上下文长度下，路由器结果与全注意力（dense）仅差 2 个百分点。
该提升在 Qwen2.5、Mistral-Nemo、Qwen3.6 四种模型、三种架构上均得到复现。在 128K 上下文下，路由器使 Qwen2.5-7B-1M 和 Qwen3.6 分别保持全注意力精度的 0.81 和 0.89，而传统 top-k 在 Qwen2.5-7B-1M 上仅剩 0.09。
效率：几乎无额外开销
融合选择与核的流水线在保持高精度的同时，运行时间为全注意力的 0.62 倍（Qwen2.5）和 0.80 倍（Qwen3.6），证明了该方法的实用价值。
总结
这项研究直击块稀疏注意力的“短视”痛点，通过轻量级的不确定性门控动态调整保留块数，在长上下文场景下实现了精度与效率的更好平衡。对于需要处理超长文档、代码库或多轮对话的 LLM 应用，该技术有望成为标准组件。