精选今天0 投票
REDI：开源框架自动化科学数据准备，加速AI训练
领导力计算设施管理着大规模科学数据集，这些数据在用作AI训练数据之前通常需要大量转换。然而，现有框架未能完全统一自动化转换、就绪评估、来源追踪和智能体原生部署。我们提出REDI，一个开源框架，通过统一的五阶段流水线（摄取、预处理、转换、结构化和输出）来解决这一缺口，每个阶段都具备可重复性仪器化，并可部署为智能体可调用的技能；配套工具SetGo自动化FAIR合规和目录发布。在气候、蛋白质组学、材料科学和核聚变领域评估中，REDI将所有数据集从原始状态转换为AI就绪状态，输出经过领域专家参考验证，初步结果显示在Frontier超级计算机上气候用例实现了近理想的并行扩展至100个节点。来源追踪的性能分析揭示文件I/O是流水线的主要成本，格式选择是关键优化杠杆。这些结果确立了REDI作为跨领域平台，为科学AI提供自动化数据就绪，将数据准备瓶颈转化为可重复、可重用的社区资产。