PairSAE：破解蛋白质共折叠模型中成对表征的“黑箱”
蛋白质结构预测的基础模型（如AlphaFold、Boltz-2）在生物分子结构预测和设计方面展现了惊人能力，但模型内部特征如何驱动输出仍是一个难题。标准稀疏自编码器（SAE）在Transformer序列嵌入上表现良好，但无法直接应用于Pairformer架构——对成对表征进行朴素操作会导致特征数量二次爆炸，并掩盖跨序列和成对表征分布的概念。
来自哈佛医学院、MIT等机构的研究人员提出了PairSAE，一种专门为Pairformer架构设计的机械可解释性方法。PairSAE通过**N模式奇异值分解（N-mode SVD）**将成对张量总结为“token级交互角色”，然后使用稀疏自编码器学习一组共享的token级特征，这些特征可以解码回序列和成对表征。
在Boltz-2模型处理PLINDER蛋白质-配体复合物数据集的激活值上评估，PairSAE能够提取出与UniProt注释对齐的可解释特征，并预测Boltz-2的亲和力值。这表明PairSAE成功将结构生物学基础模型的潜在空间与可解释的结构概念联系起来，阐明了模型“知道什么”，同时避免了传统SAE在Pairformer架构中遇到的陷阱。
该研究已被**机器学习结构生物学研讨会（MLSB 2025）**接收。
核心挑战：为什么标准SAE在Pairformer上失效？
蛋白质共折叠模型（如Boltz-2）使用Pairformer架构，其核心是处理成对表征——即描述每对残基（或原子）之间相互作用的张量。这种表征天然是二次的（N×N），并且与序列表征（1D）深度耦合。
标准SAE假设特征可以独立地从单一模态嵌入中学习，但直接应用于成对表征时面临两个问题：
- 二次爆炸：如果对每个成对元素独立学习特征，特征数量会随序列长度平方增长，计算和存储开销巨大。
- 概念割裂：许多生物概念（如结合位点）同时涉及序列信息和成对交互信息，标准SAE无法联合建模这种分布式表征。
PairSAE：两步走，让成对表征“透明化”
PairSAE的核心思想是将高维成对张量压缩为token级的低维“交互角色”，再通过SAE学习共享特征。具体分为两步：
1. N模式SVD降维
将成对张量视为一个三维张量（token×token×特征通道），通过N模式SVD将其分解为三个因子矩阵。其中，token模式上的因子矩阵提供了每个token的“交互角色向量”，这些向量编码了该token与其他所有token的交互模式。通过保留前k个奇异值，实现了从O(N²)到O(Nk)的压缩（k远小于N）。
2. 共享稀疏自编码器
将token级角色向量与序列表征拼接，输入到一个稀疏自编码器中。该自编码器学习一组稀疏的、可解释的token级特征，这些特征同时解码回序列表征和成对表征。由于特征是在token级别学习的，它们自然地捕捉了跨模态的分布式概念（如“这是一个结合口袋残基”）。
实验验证：特征对齐与亲和力预测
研究者在Boltz-2模型（蛋白质-配体共折叠模型）上测试了PairSAE，使用PLINDER数据集（包含数千个蛋白质-配体复合物）。
- 特征可解释性：PairSAE学习到的特征与UniProt数据库中的功能注释（如“活性位点”、“金属结合位点”）高度对齐。例如，某个特征在配体结合残基上激活强度显著高于其他残基。
- 亲和力预测：将PairSAE的特征作为输入，训练一个线性模型预测Boltz-2输出的亲和力值，取得了较高的相关性（R²≈0.65），表明这些特征捕捉了与结合强度相关的关键信息。
意义与展望
PairSAE为结构生物学基础模型的可解释性提供了新工具。它不仅帮助研究者理解模型预测的分子机制，还可能指导蛋白质设计：通过识别与特定功能相关的特征，可以更有针对性地优化序列。
未来工作可以扩展到更复杂的多聚体系统，或与蛋白质设计方法结合。该研究也提示，针对特定架构设计可解释性方法至关重要——通用方法可能因架构差异而失效。
小结
- PairSAE通过N-mode SVD和共享SAE，成功对Pairformer架构的成对表征进行可解释性分析。
- 在Boltz-2上提取的特征与生物注释对齐，并能预测亲和力。
- 方法避免了标准SAE在成对表征上的二次爆炸和概念割裂问题。