NORACL：受神经发生启发的无Oracle资源自适应持续学习
持续学习（Continual Learning）中，模型需要在学习新任务时保持可塑性，同时不遗忘旧知识——这一“稳定性-可塑性困境”长期困扰着AI社区。来自苏黎世联邦理工学院等机构的研究者近日提出 NORACL（Neurogenesis for Oracle-free Resource-Adaptive Continual Learning），从生物神经发生机制中汲取灵感，通过动态神经元生长突破固定容量架构的瓶颈，实现了无需预知未来任务流的自适应持续学习。
核心问题：有限容量与未知未来的矛盾
传统持续学习方法（如正则化、记忆回放）通常依赖固定容量的神经网络。然而，未来任务的数量和特征重叠程度是未知的：如果任务数量多且相关性弱，固定网络会因塑性资源耗尽而无法学习新任务；如果任务少或重叠度高，网络又可能过度参数化，造成资源浪费。研究者指出，这些方法隐含地假设了一个“Oracle架构”——即预先知道未来任务流并据此设计网络大小，这一假设在实践中显然不成立。
NORACL的解决方案：按需生长
受大脑中持续产生新神经元的“神经发生”现象启发，NORACL从一个小型初始网络出发，通过监测两个互补信号——表征饱和信号和可塑性饱和信号——来判断何时需要添加新神经元。表征饱和衡量现有神经元对当前任务特征的覆盖程度，可塑性饱和则评估网络权重调整的灵活性。当任一信号达到阈值时，网络自动在相应层增加神经元，从而动态扩展容量。
实验表现：超越固定容量基线
研究者在多种任务序列（不同任务数量、不同特征重叠度）上对比了NORACL与Oracle大小的静态基线模型。结果显示：
- 准确率：在所有设置下，NORACL的最终平均准确率均优于或持平于Oracle基线，且使用更少的参数。
- 可解释性：NORACL的神经生长模式具有可解释性——当新任务与旧任务特征差异大时，生长主要发生在特征提取层；当任务共享底层特征时，生长则集中在特征组合层。这种差异化的生长策略印证了网络对不同任务结构的自适应调整。
- 塑性维持：固定容量网络随着任务累积，可塑性逐渐丧失（即权重更新幅度变小），而NORACL通过添加新神经元为每个新任务创造了“新鲜”的塑性资源，有效避免了塑性退化。
意义与展望
NORACL将生物神经发生的自适应机制引入持续学习，从架构层面解决了稳定性-可塑性困境。它不仅摆脱了对Oracle架构的依赖，还实现了资源效率与性能的帕累托改进。未来，该方法有望应用于机器人、边缘设备等资源受限且任务动态变化的场景，为构建真正终身学习的AI系统提供新思路。