InfoMamba：一种无需注意力的混合Mamba-Transformer模型
在序列建模领域，如何在计算约束下平衡细粒度局部建模与长距离依赖捕获，一直是个核心挑战。Transformer凭借强大的token混合能力成为主流，但其二次方复杂度限制了处理长序列的效率；而Mamba风格的选择性状态空间模型（SSMs）虽能线性扩展，却常难以捕捉高秩和同步的全局交互。
InfoMamba 的提出，正是为了弥合这一鸿沟。研究团队通过一致性边界分析，揭示了何时对角短记忆SSMs能够近似因果注意力，并识别出仍存在的结构差距。基于此分析，他们设计了一种无需注意力的混合架构。
核心创新：概念瓶颈线性过滤层与信息最大化融合
InfoMamba的关键在于用 概念瓶颈线性过滤层 取代了传统的token级自注意力机制。这一层充当了一个最小带宽的全局接口，能够高效地整合全局信息。
更精妙的设计在于 信息最大化融合 机制。IMF将这一全局接口与一个选择性循环流（即SSM）动态地结合起来。它不仅仅是简单的拼接，而是通过一个受互信息启发的目标，动态地将全局上下文注入到SSM的动态过程中，并鼓励两个组件之间使用互补的信息。这确保了模型既能利用SSM高效处理序列的能力，又能获得必要的全局视野。
性能表现与意义
在分类、密集预测和非视觉任务上的大量实验表明，InfoMamba在性能上持续超越了强大的Transformer和SSM基线模型。其最大优势在于实现了 竞争性的精度-效率权衡，同时保持了接近线性的扩展能力。
这意味着，对于需要处理超长序列（如长文档、高分辨率图像、基因组数据或长时间序列）的应用场景，InfoMamba提供了一种比纯Transformer更高效、比纯Mamba-SSM更强大的新选择。它代表了序列建模架构探索中的一个有前景的方向，即通过精心设计的混合策略，结合不同范式的优势，以突破现有模型在计算复杂性与表达能力上的瓶颈。
随着大模型对处理更长上下文的需求日益增长，这类兼顾效率与性能的混合模型架构，其研究和应用价值将愈发凸显。