新上线今天0 投票
多模态异常检测综述：从假设视角看技术演进与未来挑战
多模态异常检测（MMAD）旨在从异构数据源中识别罕见的异常事件，在工业质检、网络安全等安全关键领域应用日益广泛。然而，该领域研究分散于不同领域和模态组合，现有综述多按模型架构分类，忽视了异常定义方式的核心差异。为此，一篇发表于 IEEE Transactions on Big Data 的最新综述提出从假设驱动的视角重新梳理 MMAD 研究，为理解该领域提供了全新框架。
核心挑战与内在特征
综述首先形式化了 MMAD 问题，并提炼出五个内在特征，这些特征共同构成了其核心挑战：
- 数据异构性：多模态数据在格式、语义和分布上存在天然差异；
- 异常稀缺性：异常事件在现实中极为罕见，导致标注数据不足；
- 模态相关性：不同模态间可能存在复杂的互补或冲突关系；
- 动态环境：数据分布随时间变化，异常模式可能演化；
- 可解释性需求：在安全关键应用中，决策过程需要可解释。
两大互补研究范式
基于异常如何被定义和分离，综述将现有方法划分为两种互补范式：
1. 正态假设方法
这类方法通过建模正常数据的规律来间接识别异常，具体包括：
- 表示学习：学习紧凑且信息丰富的多模态表示，使正常样本与异常样本在特征空间上可区分；
- 跨模态对齐：利用模态间的一致性，将不同模态映射到统一空间，从而捕捉模态间的异常偏差；
- 知识增强：引入外部知识（如知识图谱、预训练模型）来丰富正常模式的描述。
2. 异常假设方法
这类方法直接对异常进行建模，通过注入人工构造的异常来锐化决策边界，具体包括：
- 粗粒度异常注入：生成全局性的异常样本，如随机改变模态内容；
- 结构异常注入：在局部结构上制造异常，如打乱空间或时序关系；
- 语义异常注入：构造语义上不合常理的组合，如将“猫”与“狗”的图像特征混合。
基础模型的赋能与重塑
综述还探讨了基础模型（如大语言模型、多模态预训练模型）对 MMAD 的深远影响：
- 可扩展预训练：利用海量无标注数据学习通用表示，提升异常检测的泛化能力；
- 灵活跨模态迁移：支持不同模态组合的快速适配，降低对新场景的适应成本；
- 新兴推理能力：基础模型具备的上下文推理与常识理解能力，为复杂异常的解释提供新思路。
评测基准与未来方向
文章整理了跨领域的代表性基准数据集与评估协议，为社区提供了标准化的比较基础。同时，作者指出了开放问题与未来方向：
- 鲁棒性：在噪声、缺失模态等真实条件下保持稳定性能；
- 适应性：应对分布漂移与未知异常类型；
- 可解释性：提供人类可理解的异常解释，增强信任度。
小结
这篇综述以假设驱动为主线，系统梳理了 MMAD 的方法论，并展望了基础模型带来的变革。对于研究者而言，它有助于厘清领域脉络，定位研究空白；对于从业者，则提供了选择合适技术路线的参考。随着多模态数据的普及，MMAD 有望在更广泛的安全关键应用中发挥关键作用。