隐藏状态隐私存在“空中间”：高斯机制无法兼顾隐私与效用
一篇来自 arXiv 的新研究《Hidden-State Privacy Has an Empty Middle》揭示了一个令人警醒的发现：在单层隐藏状态隐私保护中，没有任何一种高斯扰动机制能同时实现中等水平的隐私和效用。研究对 1536 种高斯发布协方差进行了测试，结果为零。
核心发现：Fisher 球下界
研究者证明了一个互补的 Fisher 球下界：对于任何满秩的高斯发布机制，若其 Fisher 效用为 O(1)，则必然存在一个方向，其马氏距离信号随隐藏宽度线性增长。这意味着在该机制类中，不存在统一的高斯安全性，与实验观察到的“空中间”现象完全吻合。
唯一最优机制：对角逆 Fisher 发布
在众多机制中，对角逆 Fisher 发布 Σ*_diag(K) = (2K/d) diag(1/F_ii) 被证明是 KL 预算 K 下唯一的最小最大最优对角机制。在 32 层模型网格的每个点上，它都能将最坏情况攻击者的 top-1 准确率控制在 0.001 以下。然而，它位于隐私/效用的边界上，而非中间区域。
自适应攻击的威力
研究还展示了自适应攻击的破坏性：一个广义特征机制在欧氏距离检索下能达到 13 倍帕累托改进，但在自适应马氏攻击者面前，其 top-1 准确率直接崩至 100%。一个全轨迹序列逆变器能恢复 GPT-2 前缀的 94%，但在 Σ_diag 保护下则完全失效。
架构协同设计的曙光
面对高斯类机制的固有局限，研究转向架构协同设计。一个从头训练的分割记忆 Transformer（Split-Memory Transformer）在 90M 参数时达到 G_Mah ∈ [20, 33]，并在 30M 到 1B 参数范围内，以固定的 token 语言建模损失惩罚，相比同预算的 GPT 基线保持 6-24 倍的优势。而预训练模型最高仅为 9.3。
这些结果将隐藏状态发布问题从高斯类内的机制设计，重新定义为架构或发布协同设计。研究者认为，要真正填补隐私与效用的中间地带，必须超越传统的高斯扰动框架。