神经贝叶斯顺序路由：将推理建模为主动证据累积
概览
人类决策是一个顺序且具有不确定性意识的过程，而标准神经网络通常依赖于静态、密集的前向计算，对证据获取、不确定性演化或何时停止计算缺乏可见性。近日，一项发表于 arXiv 的新研究提出了 神经贝叶斯顺序路由 (Neural Bayesian Sequential Routing, NBSR) 框架，将神经推理建模为在分层有向无环图（DAG）上的主动证据累积过程。
核心机制
NBSR 的核心思想是在一个 Dirichlet-Categorical 共轭框架内运作。神经专家查询一个持久的全局知识库，提取正证据向量，这些向量作为伪计数，通过精确的共轭加法更新 Dirichlet 信念状态。结合 Gumbel-Softmax Straight-Through 估计器，这种更新能够实现硬性的、路径依赖的路由，同时保留用于端到端训练的代理梯度。
关键特性
- 不确定性量化：产生的 Dirichlet 精度和熵提供了不确定性量化机制，支持基于熵的提前退出、OOD（分布外）拒绝和成本感知的证据获取。
- 理论保证：论文证明，在严格正证据提取条件下，总 Dirichlet 精度沿任何有效轨迹单调递增，边际预测方差有界，形式化了顺序“假设锐化”过程。在理想容量和优化假设下，终端 Dirichlet 期望恢复贝叶斯最优条件分布。
- 资源理性推理：通过动态调整计算路径，NBSR 能够实现资源理性的推理，在性能和计算成本之间取得平衡。
实验验证
研究者在多个任务上进行了实证评估，包括视觉分类、结构化医学诊断、语言建模、部分可观测控制以及成本感知的贝叶斯实验设计。结果显示，NBSR 在取得有竞争力的预测性能的同时，提供了透明的路由轨迹、路径依赖的证据归因、不确定性感知的决策控制以及资源理性的推理。
意义与展望
NBSR 为可解释、模块化和资源理性的智能体 AI 提供了一个数学上严谨的框架。它模仿了人类顺序决策中的证据累积过程，有望在需要可解释性和不确定性管理的应用场景（如医疗诊断、自动驾驶、科学发现）中发挥重要作用。论文作者黄永超在 71 页的篇幅中详细阐述了理论、算法和实验，为后续研究奠定了基础。
小结
NBSR 通过将贝叶斯推理与神经路由相结合，为构建更智能、更透明的 AI 系统开辟了新的路径。其核心创新在于利用 Dirichlet 过程动态管理不确定性，并通过路径依赖的路由实现计算资源的自适应分配。这一工作不仅具有理论深度，也在多个实际任务中验证了其有效性，展现了在下一代 AI 系统中的应用潜力。