SheepNav
精选今天0 投票

最小化遗传编程:从进化到句法推导的范式转变

遗传编程(GP)长期以来依赖两个核心思想:将学习任务视为程序归纳问题,以及将程序搜索视为进化过程。然而,一篇新论文提出了一种颠覆性的替代方案——最小化遗传编程(MGP),它抛弃了进化机制,转而从语言学中的“最简方案”汲取灵感,将程序构建视为一个句法推导过程。

核心创新:用 MERGE 替代进化

传统 GP 通过遗传算子(交叉、变异)在种群中搜索最优程序树,但容易产生“代码膨胀”(bloat),即程序规模过大而性能不佳。MGP 则借鉴了乔姆斯基语言学中的最简方案,其核心是一个名为 MERGE 的二元集形成操作。该操作以马尔可夫过程的方式逐步将原子句法对象组合成复杂结构,类似于人类语言中通过递归合并构建句子。

实验验证:符号回归上的突破

研究团队在一组已知对标准 GP 困难的符号回归任务上进行了基准测试。结果表明,在选择了合适的原子句法对象词典后,MGP 能够一致地生成精确的真实模型,而标准 GP 在这些任务上则难以做到。这证明句法推导方法能有效抑制代码膨胀,并找到更简洁、准确的解。

行业意义与未来方向

MGP 的提出为程序归纳领域开辟了新的道路。它不仅连接了人工智能与理论语言学,还可能启发更高效的符号学习算法。未来工作可探索更复杂的词典设计、扩展至分类等任务,以及将 MERGE 操作与深度学习结合。

总结:MGP 从“进化”转向“句法推导”,用 MERGE 操作替代遗传算子,在符号回归任务上展现了超越传统 GP 的准确性和简洁性。这一跨学科创新或将为 AI 的符号推理能力带来新突破。

延伸阅读

  1. AI辅助优化下的探索响应性与适应性僵化
  2. 更少上下文,更优智能体:面向长周期工具调用 LLM 的高效上下文工程
  3. Regimes:一种可审计、留出验证的自主改进循环——在LongMemEval上以ActiveGraph验证
查看原文