稀疏优度：选择性测量如何变革前向-前向学习
在深度学习领域，反向传播（Backpropagation）一直是训练神经网络的主导方法，但其存在生物学合理性不足、计算开销大等局限。前向-前向（Forward-Forward，FF）算法作为一种生物启发的替代方案，通过逐层训练和局部“优度函数”（goodness function）来区分正负数据，近年来备受关注。然而，自FF算法提出以来，平方和（sum-of-squares，SoS） 一直作为默认的优度函数，其性能潜力尚未被充分挖掘。
近期，一篇题为《Sparse Goodness: How Selective Measurement Transforms Forward-Forward Learning》的论文在arXiv上发布（编号2604.13081），由Kamer Ali Yuksel和Hassan Sawaf共同撰写。该研究系统性地探索了优度函数的设计空间，不仅关注测量哪些激活值，还深入研究了如何聚合这些激活值，并提出了稀疏优度这一核心概念，为FF算法的性能提升带来了突破性进展。
核心创新：从密集到稀疏的优度函数设计
传统SoS优度函数对所有神经元的激活值进行平方和计算，属于“密集”测量。本研究创新性地引入了两种稀疏优度函数：
- Top-k优度：仅评估前k个最活跃的神经元，而非全部。实验显示，在Fashion-MNIST数据集上，Top-k优度相比SoS基线将准确率提升了22.6个百分点，显著证明了稀疏测量的优势。
- Entmax加权能量：进一步用基于alpha-entmax变换的可学习稀疏权重替代硬性的Top-k选择，实现了自适应稀疏，带来了额外的性能增益。
性能突破：组合策略实现显著提升
研究还采用了分离标签特征前向（FFCL） 方法，将类别假设通过专用投影注入每一层，而非仅在输入层拼接。结合稀疏优度函数，在4x2000架构的Fashion-MNIST任务中，达到了87.1%的准确率，相比SoS基线提升了30.7个百分点，而仅改变了优度函数和标签路径。
关键发现：稀疏性是FF网络的核心设计原则
通过对11种优度函数、两种架构以及k和alpha的稀疏谱分析进行控制实验，研究得出一致结论：优度函数中的稀疏性是FF网络最重要的设计选择。特别是，当alpha约等于1.5时，自适应稀疏性优于完全密集或完全稀疏的替代方案。
行业意义与未来展望
这项研究不仅为FF算法提供了更高效的训练方法，还可能推动生物启发学习在边缘计算、低功耗设备等场景的应用。稀疏优度通过减少计算量，有望降低训练成本，同时保持或提升模型性能。随着AI模型向更高效、更可解释的方向发展，此类基础算法的优化将越来越受到重视。
未来，稀疏优度函数在其他数据集和任务上的泛化能力、与不同网络架构的兼容性，以及在实际硬件上的部署效果，都值得进一步探索。
