精选今天0 投票
空间关系在紧凑世界模型中的具身化：指令泄露与无目标动力学修复
背景：语言目标与空间关系的“假性接地”
在具身AI领域，紧凑世界模型通过语言目标（如“将红色方块放在蓝色方块左边”）来指导机器人理解空间关系，并利用参考锚点（reference anchors）实现关系接地。然而，最新研究揭示了一个严重陷阱：模型可能并非真正感知空间关系，而是转录指令中的答案，即“指令泄露”现象。
核心发现：0.90 准确率背后的幻觉
论文《Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix》通过实验发现，一个目标条件预测器在关系读出任务上达到了惊人的 0.90 准确率，但这本质上是指令转录而非感知。当移除目标指令时，准确率骤降至 0.27（三组实验种子平均）；而输入反事实指令时，预测的锚点 94.5% 遵循虚假指令，仅 2.3% 符合真实场景（N=256）。
泄露机制：当指令直接命名答案
研究团队在桌面环境和BabyAI基准测试中均观察到泄露现象。其核心机制是：当指令直接命名了待评估的答案时（例如“左”或“右”），模型倾向于直接从指令中提取答案，而非依赖感知输入。而在Language-Table前向动力学世界模型中，由于指令仅命名参考对象（referents）而非方向，泄露未发生——直到指令被增强为包含方向信息。此外，降低动作预测质量并未增加泄露，这与“预测器竞争”假说相反。
解决方案：将目标从动力学中剥离
论文提出的修复方案简洁而有效：
- 将目标排除在动力学模型之外：目标仅用于规划器的代价函数，不参与状态预测；
- 监督读取路径：确保关系读出路径独立于目标指令。
采用该方法后，模型在有无目标指令的条件下均达到了 0.88 的准确率，实现了真正的、指令无关的空间关系接地。
行业启示
该研究对具身AI领域具有重要警示意义：
- 评估指标需警惕“假性成功”：高准确率可能掩盖模型对指令的过度依赖；
- 检测协议可推广：通过移除或篡改指令来验证模型是否真正理解任务；
- 架构设计原则：语言目标应仅用于规划，而非参与感知过程。
这一发现不仅适用于空间关系，也适用于任何目标条件世界模型中指令直接命名评估量的场景，为构建更鲁棒的具身智能系统提供了关键指导。