边界方差膨胀导致高斯过程采集偏差：几何机制揭示优化陷阱
研究背景与核心发现
高斯过程（GP）是机器学习中常用的概率模型，尤其在贝叶斯优化领域扮演关键角色。然而，一个长期被忽视的问题正在引起研究者警惕：当使用平稳核函数在有界域上建模时，GP后验方差会在边界附近出现系统性膨胀。这一现象在地质统计学中早已被记录，但在贝叶斯优化中，它会导致采集函数偏向过度探索边界区域，从而损害优化效率。
最新预印本论文《Boundary Variance Inflation Causes Acquisition Bias in Gaussian Processes》由Maria Bånkestad等人撰写，首次从几何机制上揭示了这一偏差的根源，并量化了其对不同采集策略的影响。
几何根源：核相关邻域的截断
研究团队指出，边界方差膨胀的根本原因在于核相关邻域在边界处被截断。平稳核函数（如RBF、Matérn）通过衡量两点间的距离来定义相关性，但在有界域内，靠近边界的点可用的邻近数据点更少，导致局部信息不足，从而人为抬高了方差估计。这种扭曲是观察无关的——即使没有观测数据，仅凭核函数和域边界就能产生，并且随着维度增加而加剧。
三种采集函数的偏差模式
论文进一步分析了边界偏差在三种典型采集函数中的表现：
- 方差最大化（Variance Maximization）：倾向于将采样点集中在角落，因为角落处方差膨胀最严重。
- 负积分后验方差（Negative Integrated Posterior Variance）：将采样点拉向沿坐标轴的内壳，即靠近边界但非角落的区域。
- 期望预测信息增益（Expected Predictive Information Gain）：同样产生向内收缩的模式。
这些偏差模式完全独立于目标函数，意味着采集行为可能被核几何主导，而非任务所需的真实不确定性。
诊断工具与实用价值
为了帮助 practitioners 识别和缓解这一问题，作者提出了一种无目标函数的采集选择剖面诊断方法。该诊断可适用于任意采集函数、核函数和有界域几何，无需运行实际优化，即可预先评估边界偏差的严重程度。
这一工具对于高维贝叶斯优化、主动学习以及任何依赖GP不确定性估计的领域具有直接实用价值。例如，在材料设计或超参数调优中，若忽视边界偏差，可能导致大量采样资源浪费在无意义的边界区域。
行业启示与未来方向
该研究提醒AI社区：模型内部偏差可能潜藏在看似成熟的工具中。高斯过程作为核心概率模型，其边界效应并非新发现，但将其与采集函数行为系统关联，并提供量化诊断，是重要的一步。未来工作可探索如何通过边界校正核函数或自适应采样策略来消除偏差，从而提升贝叶斯优化在高维实际问题中的表现。