Fisher宽度：统计流形上的几何复杂度度量
从高斯宽度到Fisher宽度：统计流形的几何复杂度新视角
在高维概率、压缩感知、凸优化和学习理论中，高斯宽度（Gaussian width）一直扮演着核心角色。它通过衡量一个集合在随机方向上的平均延伸程度，有效刻画了约束集、假设类和下降锥的“有效维度”。然而，这一概念本质上依赖于欧几里得几何——而统计模型本身拥有由Fisher信息度量诱导的自然黎曼几何，其中方向的重要性取决于统计可区分性，而非欧氏长度。
近期一篇arXiv论文（arXiv:2606.18306）提出了Fisher宽度（Fisher width），作为统计流形上高斯宽度的黎曼几何类比。作者Vu Khac Ky从理论到应用，系统构建了这一新概念的基础。
核心思想：用Fisher度量“重新标度”
在参数点 θ 处，Fisher宽度用局部度量张量 G(θ)^(1/2) 替代欧几里得单位矩阵，从而测量Fisher重新标度后的集合的高斯宽度。这使得该度量对局部统计曲率敏感，且在平滑重参数化下保持不变。简单来说，Fisher宽度将“方向的重要性”从欧氏长度转移到统计可区分性上，更贴合统计模型的本质几何。
理论性质：保留高斯宽度的优点，捕捉各向异性
论文证明Fisher宽度保留了高斯宽度的关键结构性质，包括：
- 浓度性质：高维概率下的集中性；
- 度量扰动稳定性：对度量微小变化的鲁棒性；
- 谱比较界：与欧几里得基线的比较。
更重要的是，它能捕捉欧几里得度量无法体现的各向异性几何效应——例如，在统计流形上不同参数方向可能具有截然不同的曲率，Fisher宽度能自然反映这种差异。
应用与实证
作为应用，作者推导了Fisher-Lipschitz假设类的泛化界，并提出了可计算的估计量。在MNIST数据集上，针对三种模型类（如神经网络、概率模型等）的实证评估显示，Fisher宽度能有效反映模型在统计流形上的复杂度，为泛化性能提供新的几何解释。
意义与展望
“Fisher宽度之于统计流形，正如高斯宽度之于欧几里得凸体。”这一工作为在弯曲统计流形上研究复杂性和学习问题奠定了基础。未来，该度量有望用于模型选择、正则化设计以及理解深度学习中的泛化现象——尤其是在参数空间具有非平凡几何结构的场景中。
对于机器学习研究者而言，Fisher宽度提供了一个更符合统计本质的复杂度工具。它在理论上的优雅性和实证中的有效性，使其成为连接信息几何与学习理论的一座新桥梁。