精选今天0 投票
OriginBlame：AI训练数据集的记录级与Token级溯源系统
AI模型训练依赖海量数据，但当数据贡献者要求删除其数据时，模型训练者往往陷入困境：现有的遗忘算法需要一个“遗忘集”，却没有工具能精确定位哪些训练记录属于特定作者。现有的溯源系统仅停留在文件或数据集级别，导致过度删除。
OriginBlame（简称ob） 是一种记录级与Token级数据溯源系统，能够在数据处理管道中传播作者身份，并通过确定性查询将撤销请求解析为精确的遗忘集。在 219,555个维基百科页面 上的评估显示，记录级溯源将数据集级过度删除率从 101倍降至1.3倍，而集成到HuggingFace和Datatrove管道中仅带来 1.3%-4.0% 和 2.1%-19.0% 的吞吐量开销。在 17亿参数模型 上，基于溯源的遗忘集相比随机基线 提升了42%的遗忘效果。
该系统填补了数据溯源与机器遗忘之间的空白。随着全球数据隐私法规（如GDPR“被遗忘权”）日益严格，OriginBlame为模型训练者提供了一种精确、高效的数据移除方案，避免因过度删除损害模型性能。
核心优势
- 精确性：从文件级粗粒度升级到记录级和Token级，大幅减少误删。
- 效率：集成开销低，对主流框架影响可控。
- 实用性：直接服务于遗忘算法，显著提升遗忘质量。
行业意义
OriginBlame的出现标志着AI数据治理从“一刀切”迈向“精准手术”。未来，类似系统可能成为合规训练的标准组件，尤其适用于处理用户贡献内容的平台。不过，论文目前仅在维基百科数据上验证，真实场景的复杂管道（如多源数据混合、衍生数据）仍需进一步测试。