SheepNav
新上线今天0 投票

不确定性感知的集成深度随机神经网络分类方法

深度随机神经网络(如深度随机向量函数连接网络 dRVFL 及其集成版本 edRVFL)在分类任务中表现出色,但现有模型对所有训练样本一视同仁,这限制了它们在含有噪声和异常值的真实世界数据集上的鲁棒性。此外,污染特征在隐藏层间的传播会损害模型的决策能力。针对这些问题,研究人员提出了一种基于直觉模糊集理论的新框架,通过区分干净样本、噪声和异常值,显著提升了模型性能。

核心思路:从均匀对待到自适应加权

传统 dRVFL 和 edRVFL 模型在训练时对所有样本赋予相同的权重,这导致模型容易受到噪声和异常值的干扰。新提出的 IF-dRVFLIF-edRVFL 框架引入直觉模糊集理论,利用样本的邻域信息,在核空间中为每个样本计算隶属度(membership degree)和非隶属度(non-membership degree)。

  • 隶属度:基于样本到其所属类别质心的距离计算,距离越近,隶属度越高,表示该样本越能代表其类别。
  • 非隶属度:衡量样本在局部邻域内的异质性,非隶属度高的样本更可能是噪声或异常值。

通过综合考虑这两个指标,模型能够为训练样本分配自适应权重,从而有效区分干净样本、噪声和异常值。

实验验证:在噪声环境下表现优异

研究团队在 UCIKEEL 基准数据集上进行了大量实验,包括在有无高斯噪声的情况下。实验结果表明,IF-dRVFLIF-edRVFL 在分类准确性和鲁棒性上均优于现有的模糊和非模糊方法。特别是在噪声环境下,新模型的优势更加明显,这得益于其对样本质量的精确感知。

意义与展望

这项研究为深度随机神经网络提供了一种新的鲁棒性增强策略。通过引入直觉模糊集理论,模型不仅能够处理噪声和异常值,还保持了较高的计算效率。此外,该框架的代码已公开,便于其他研究者复现和进一步探索。

未来,该工作可能扩展到更复杂的任务,如回归、聚类,以及与其他深度学习架构的结合。同时,如何进一步优化非隶属度的计算效率,也是值得研究的方向。

延伸阅读

  1. 从垃圾信息中寻找信号:联合学习奖励与工人可靠性的新方法
  2. UserToolBench:面向工具使用大模型的个性化决策新基准
  3. FlowScout:从执行反馈到可靠的工具使用代理工作流
查看原文