新上线26天前0 投票
结构感知集合变换器：为异步临床时间序列引入时间和变量类型注意力偏置
电子病历分析的挑战与现有方法的局限
电子健康记录（EHR）是医疗AI领域的关键数据源，但它本质上是不规则、异步的多变量时间序列。这意味着不同生命体征（如心率、血压）的测量时间点不同步，数据存在大量缺失值。传统处理方法面临两难选择：
- 网格化方法：将时间轴离散化为固定间隔的网格，每个网格点对应一个变量值。这种方法能保留时间×变量的结构，但必须对缺失值进行插补或使用缺失掩码，这可能导致误差或模型学习到数据采集策略的“捷径”，而非真实的生理模式。
- 点集方法：将每个测量事件（如“在时间t测量到变量v的值为x”）直接视为一个令牌（token）。这避免了时间离散化，但丢失了单一变量内部的轨迹连续性以及时间上邻近的不同变量间的关联上下文。
STAR-Set Transformer：融合结构先验的创新方案
针对上述问题，研究人员提出了STructure-AwaRe Set Transformer（STAR-Set）。其核心思想是在基于集合（Set）的Transformer架构中，通过引入参数高效的软注意力偏置，来恢复那些在点集表示中丢失的重要结构先验，而无需回到网格化的老路。
具体来说，STAR-Set在自注意力机制中增加了两种可学习的偏置：
- 时间局部性惩罚：形式为
-|Δt|/τ，其中Δt是两个事件的时间差，τ是一个可学习的时间尺度参数。这个偏置鼓励模型更关注时间上接近的事件，模拟了临床决策中“近期历史更重要”的直觉。 - 变量类型亲和力：来自一个可学习的特征兼容性矩阵
B，其中的元素B_{s_i, s_j}表示变量类型s_i和s_j之间的亲和力。这使模型能够捕捉不同生理变量（如心率与血氧）之间固有的、与时间无关的关联强度。
此外，研究还系统性地评估了10种不同的深度融合策略（即如何在网络层中结合时间和变量类型信息），以找到最优的架构配置。
实证性能与可解释性优势
在三个重症监护室（ICU）预测任务上的实验结果表明，STAR-Set模型显著优于基线方法：
- 心肺复苏（CPR）预测：AUC达到 0.7158
- 死亡率预测：AUC达到 0.9164
- 血管加压药使用预测：AUC达到 0.8373
它超越了常规网格方法、事件时间网格方法以及先前的集合模型基线。
超越性能：模型的可解释性
STAR-Set的另一个关键优势在于其提供的可解释性洞察：
- 学习到的时间尺度参数
τ可以解释为模型认为的、对预测任务有效的“时间上下文窗口”大小。 - 学习到的变量兼容性矩阵
B可以揭示哪些变量组合对模型决策最为重要，为临床医生理解模型逻辑提供了直观的总结。
行业意义与展望
这项工作为处理复杂的异步时间序列数据提供了一个新颖且实用的框架。STAR-Set本质上是一个即插即用的模块，可以集成到其他需要上下文感知的时间序列基础模型中。它不仅提升了在关键医疗预测任务上的性能，还通过可学习的偏置机制打开了模型决策的“黑箱”，这在要求高可靠性和可解释性的医疗AI领域尤为重要。
随着时间序列基础模型的发展，如何有效地将领域知识（如时间局部性和变量关联性）编码到模型结构中，将成为提升模型性能和可信度的关键方向。STAR-Set Transformer在此迈出了重要一步。