高维近似最近邻搜索的网格方法迎来新突破：缩放定律揭示维度鲁棒性优势
近似最近邻（ANN）搜索是机器学习与信息检索领域的核心问题，尤其在大型语言模型和向量数据库应用中扮演关键角色。长期以来，图、树和基于分区的方法主导了ANN算法研究，而网格类方法因被认为在高维空间中效率低下，逐渐淡出主流视野。然而，一篇最新预印本论文《Scaling Laws for Grid-Based Approximate Nearest Neighbor Search in High Dimensions》重新审视了网格方法的潜力，揭示了其在维度缩放方面的独特优势。
该研究由Matthew J. Liu等人完成，系统刻画了多探针网格算法在数据集规模 $N$ 和维度 $d$ 上的性能缩放规律。实验基于GloVe嵌入族进行，发现了一个此前未被报道的 维度缩放交叉现象：当维度增加时，图、树和分区方法的吞吐量显著下降，而多探针网格搜索的维度缩放指数几乎保持不变。这意味着网格方法在高维场景下展现出更强的 维度鲁棒性。
除了维度优势，网格方法在查询时间上表现出近线性的 $N$ 缩放，同时索引成本远低于其他主流ANN方法。这一特性使其特别适合 索引重建频繁 或 高维度 的应用场景——例如在线学习、动态数据集或需要频繁更新索引的推荐系统。
论文还指出，近期研究已将自注意力机制形式化为ANN操作。因此，ANN算法的 $N$ 和 $d$ 缩放特性可能为高效Transformer架构的成本分析提供指导。例如，若网格方法能在大规模序列上保持低查询复杂度，则有望被用于加速注意力计算。
小结：这项研究挑战了“网格方法不适合高维ANN”的传统认知，揭示了其在维度缩放上的独特竞争力。虽然网格方法在低维或极小数据集上可能不如图方法，但在高维、重建密集型场景中，它提供了一种平衡索引成本与查询精度的可行选择。未来，结合硬件加速（如GPU）和混合索引策略，网格方法或将在向量搜索领域重新占据一席之地。