SheepNav
精选今天0 投票

视觉Transformer如何理解「愤怒」?研究者发现「转喻回路」机制

当训练数据中缺乏直接指向抽象概念的视觉证据时,Vision Transformer 究竟如何学会理解「愤怒」「喜悦」这类抽象语义?一篇入选 EMNLP 2026 主会的论文给出了一个颇具想象力的答案:模型可能借助「转喻」机制——用「火焰」这类具体、可解释的锚点概念,把视觉信号桥接到抽象语义之上。

研究问题:抽象概念从何而来

论文标题为《Metonymic Circuits for Abstract Concept Grounding in Vision Transformers》,作者为 Jing Ding、Ziqiao Ma、Jiayuan Mao、Joyce Chai、Freda Shi。研究的核心困惑是:视觉模型在识别「愤怒」时,数据里往往并没有大量直接标注「愤怒」的样本,那么抽象预测究竟由什么驱动?

作者提出假设:模型内部存在一种转喻式接地机制(metonymic grounding),抽象判断并非凭空产生,而是由具体的、可解释的「锚点概念」中介完成。例如「火焰」与「红色」「高温」等感知特征相关联,进而被用于支撑「愤怒」这类抽象语义的识别。

方法:用 Transcoders 拆解中间特征

为验证这一假设,研究团队在 CLIP 和 DINO 两种视觉编码器上应用了 Transcoders,从模型中间层中恢复出可与具体概念语义标签对应的特征,并追踪这些特征在抽象概念识别回路中的贡献。

实验使用了一个精心构建的图标数据集(icon dataset),结果揭示了结构化的转喻回路:

  • 感知原语在浅层占据主导地位;
  • 类物体锚点出现在抽象目标之前,形成「具体 → 抽象」的过渡链条;
  • 当图像中包含渲染文字时,模型会改用一条独立的「感知到文本」通路。

因果验证:锚点真的在起作用

仅观察相关性还不够。作者进一步通过因果干预实验证明,这些转喻性的中间特征在功能上确实参与了抽象概念的接地过程,而非仅仅是伴随现象。

意义与观察

这项工作为可解释性研究提供了一个有价值的视角:抽象能力的涌现未必神秘,它可能建立在具体概念的组合与中介之上。如果这一机制具有普遍性,那么未来或许可以通过干预中间锚点概念,来调试或增强视觉模型对抽象语义的理解能力。

需要注意的是,该结论目前主要基于特定图标数据集与 CLIP、DINO 两类编码器,其向更广泛模型与真实场景的推广程度仍有待进一步验证。

延伸阅读

  1. Anthropic 发布 Claude Haiku 5.5:史上最便宜、最快的小模型,成本直降 75%
  2. 今日速递:减肥药或能延缓衰老,二氧化碳电池储能新突破
  3. OpenAI 为青少年推出大学规划工具,并组建青少年 AI 顾问委员会
查看原文