SheepNav
精选今天0 投票

CreativityNeuro:通过权重引导激发大模型发散思维,遏制模式崩溃

大语言模型(LLM)在开放式创意任务中常表现出“人工蜂巢效应”——不同模型对同一问题给出的回答高度相似,缺乏多样性。针对这一痛点,来自伊利诺伊大学厄巴纳-香槟分校和IBM研究院的研究团队提出了 CreativityNeuro,一种无需数据、无需重训练或梯度微调的方法,通过对比权重引导(contrastive weight steering)显著提升模型的发散思维能力。该论文已被 ICML 2026 创造力与生成式AI研讨会 接收。

方法:从激活空间到权重空间

现有的创意增强技术多采用激活引导(activation steering),即在推理时调整模型内部激活值。但CreativityNeuro另辟蹊径,直接在权重空间进行操作。其核心思想是:构建一对“创意”与“保守”的模型副本,通过对比它们权重的差异,得到一个引导方向向量,然后将该向量叠加到原始模型参数上,从而在推理时持续偏向更具发散性的输出。这一过程不需要任何标注数据,完全基于模型自身的表征差异。

效果:多项指标显著提升

研究者在多个经典创造力评估任务上进行了测试:

  • 发散联想任务(DAT):CreativityNeuro将模型得分提升了最多 14个人类百分位点,相当于从普通人水平跃升至创意写作群体中位数以上。
  • 替代用途测试(AUT)故事任务:在包含 720人次 的大规模人工评估中,模型在原创性、惊喜度和整体创造力等维度上均获得显著提升。评审者认为生成的回答更具新意,且不易被预测。
  • 模式崩溃(mode collapse)指标:在所有三个任务中,CreativityNeuro均有效降低了输出重复度,模型倾向于生成更多样化的内容。

对比:权重引导优于激活引导

研究还发现,尽管激活引导在DAT上也能取得相近表现,但无法泛化到更长的开放式任务(如AUT和故事生成)。相比之下,权重引导的CreativityNeuro在未见过的任务类型上依然保持优势,说明其引导效果更本质、更稳定。

意义与局限

CreativityNeuro为提升LLM创造力提供了一条轻量级、即插即用的路径。它不改变模型架构,不依赖昂贵的人工标注,也不引入额外的推理延迟。研究者指出,该方法尤其适用于需要高多样性输出的场景,如创意写作、头脑风暴辅助、游戏NPC对话生成等。

不过,论文也承认当前实验主要基于特定基座模型(如Llama系列),未来需要验证其在更大规模模型和更多任务上的泛化能力。此外,如何平衡发散性与连贯性、避免因过度追求新颖导致内容偏离常识,仍是值得探索的方向。

总结

CreativityNeuro通过简单的权重对比操作,有效缓解了LLM在创意任务中的“同质化”倾向,为AI创造力研究提供了新的工具。随着大模型在辅助人类创意方面的应用日益广泛,如何让机器“想出不一样的点子”正成为关键问题,而这项研究给出了一个务实的答案。

延伸阅读

  1. 超越下一个词预测:RLVR在Atlassian工作流中实现工具使用代理的概念验证
  2. 扩散语言模型革新放射报告:任意顺序填充能力超越自回归模型
  3. 客服代理何时该“三思而后行”?难度路由控制架构提升自动化服务可靠性
查看原文