动态影响加权蒸馏：仅用单臂IMU实现高效活动识别
在可穿戴设备领域，多传感器融合通常能提升活动识别精度，但部署时要求用户佩戴多个传感器会带来不便。针对这一痛点，最新研究提出了一种名为**动态影响加权（DIW）**的蒸馏方法，使模型在推理时仅依赖右臂的单个惯性测量单元（IMU），却能充分利用训练阶段多个传感器的信息，显著提升识别性能。该研究以预印本形式发表于arXiv（编号2608.24904）。
研究背景与核心思路
传统的知识蒸馏（KD）通过教师模型指导学生模型，通常使用固定权重来平衡不同损失项。然而，不同训练样本对学生的贡献可能不同，固定权重无法适应这种差异。本研究的创新点在于引入动态影响加权机制，在训练过程中，对每个样本分别评估其对日志损失和特征损失的“影响”，并据此动态调整门控权重，从而更有效地利用多传感器教师模型的知识。
具体而言，研究团队使用四个同步IMU（教师模型）在训练时提供软标签和特征表示，而学生模型仅使用右臂IMU。通过DIW，学生模型能够从教师模型中挑选最有价值的信息，避免无关样本的干扰。
实验验证与结果
实验在WEAR数据集上进行，包含19个活动类别、68,298个完整窗口，来自22名受试者。采用受试者独立的五折交叉验证，确保评估的泛化性。结果显示：
- 监督学习基线（仅用右臂IMU）的宏F1分数为0.561820。
- 固定权重蒸馏（传统KD）达到0.571623，提升约1个百分点。
- DIW方法取得0.638451的宏F1，相比监督学习提升7.66个百分点，相比固定权重KD提升6.68个百分点。
此外，DIW在19个类别中的18个以及22名受试者中的21名上均优于监督学习基线。值得注意的是，所有方法在推理时都使用相同的80,915参数的右臂学生模型，没有增加部署负担。
意义与展望
这项研究展示了训练时多传感器信息可以转化为推理时单传感器的性能优势，为可穿戴设备在资源受限场景下的应用提供了新思路。DIW的动态加权机制不仅适用于活动识别，也可能推广到其他传感器模态或蒸馏任务。未来工作可探索更复杂的教师模型和更高效的门控策略，以进一步提升单传感器模型的精度。
总之，DIW为在保持低部署成本的同时提升模型性能提供了一种有效方案，有望推动智能手环、智能手表等设备在健康监测和运动追踪中的更广泛应用。