新上线今天0 投票
FusionSense：三阶段近传感器学习实现运行时自适应多模态边缘智能
随着自主系统和智能工业部署日益将计算分散到近传感器、边缘和云资源之间，能源、延迟和可靠性的严苛预算要求系统具备运行时自适应性。然而，当多模态传感器套件（摄像头、LiDAR/深度等）在边缘端激增时，多数现有方法要么在强大服务器上融合模态，要么应用忽略跨模态依赖的单模态近传感器过滤，导致冗余传输或事件遗漏。为此，研究者提出了 FusionSense——一种面向能源受限自主边缘系统的融合感知智能传感框架。
核心方法：三阶段训练
FusionSense 通过一个三步流程训练轻量级近传感器分类器：
- 服务器端融合模型学习下游任务：首先在服务器上训练一个融合模型，充分捕捉多模态数据的联合特征。
- 生成“过滤安全”标签：量化每个模态相对于融合决策的必要性，确定哪些模态在特定场景下可以安全过滤。
- 压缩边缘端融合模型：将近传感器预测作为辅助信号注入，实现模型轻量化。
最终得到一个运行时决策层，能够协同减少计算和通信开销，且计算量随传感器数量线性增长。
性能表现：能效与质量双赢
在基于 SynDrone 数据集的 RGB+深度/LiDAR 双模态实验中，FusionSense 展现出显著优势：
- 在 1% 兴趣帧（FoI）出现率 下，能耗降低 33 倍；
- 在 10% FoI 出现率 下，能耗降低 11 倍；
- 在固定 30% 数据缩减率 下，质量损失减少 92.3%；
- 能效提升比最佳过滤基线高出约 1.5 倍。
行业意义与展望
FusionSense 解决了边缘多模态智能中一个关键痛点：如何在有限资源下实现高效融合。其创新在于将融合意识提前到近传感器阶段，避免了传统“先传输后融合”的冗余。该工作已被 ISLPED 2026 接收，为自主无人机、工业物联网等场景提供了实用的能效优化方案。未来，随着传感器数量增加，这种线性扩展的方法将更具吸引力。