当动作消失：自对弈强化学习中的对抗性动作移除攻击
一项新研究揭示了强化学习系统面临的一种独特威胁：攻击者通过选择性移除合法动作来破坏智能体的决策能力。与常见的观测扰动或动作扰动不同，这种“动作屏蔽”攻击在智能体行动前就直接剥夺其选择权，造成更严重的性能下降。
攻击机制与效果
来自研究者的论文《When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning》系统性地研究了这一问题。攻击者学习一个屏蔽策略，针对性地移除对决策至关重要的动作。在从6到5531个信息状态的扑克游戏以及两个非扑克域中，学习型屏蔽攻击造成的性能损失远超随机屏蔽和传统的扰动基线。
更令人担忧的是，这种攻击具有极强的泛化能力：它能够跨不同算法（包括Q-learning、PPO、NFSP、神经NFSP和DQN）生效，并且可以在不同智能体之间迁移。在自对弈环境中，攻击效果还会被放大，而即使在长时间屏蔽训练下，受害者也无法恢复。
关键发现与度量
研究者通过分析发现，攻击者倾向于针对高价值决策点，即那些对长期回报影响最大的动作。他们提出了两个新的度量指标：可达加权条件动作容量（CAC_w） 和价值加权版CAC_v，用于量化动作集被移除后的决策能力损失。这些指标表明，动作可用性是自对弈强化学习中一个独立于观测和动作扰动的鲁棒性维度。
行业影响与防御思考
这项研究对AI安全具有重要意义。在现实应用中，如自动驾驶、游戏AI或机器人控制，攻击者可能通过限制合法动作来操控系统行为。例如，在金融交易中，移除某些买卖选项可能导致模型做出次优决策。
目前，该研究主要聚焦于自对弈场景，但作者指出，类似威胁可能存在于多智能体系统和对抗性环境中。未来的防御方向可能包括：训练时引入动作屏蔽的对抗样本、设计鲁棒的动作空间表示，或采用集成决策机制来降低单一动作被移除的影响。
这项成果提醒我们，强化学习系统的安全性不仅需要关注输入扰动，还需考虑动作空间本身的结构脆弱性。