精选今天0 投票
DS-Lighting：让数据科学自动化的代理控制框架显式化
近年来，大语言模型（LLM）代理在自动化数据科学工作流方面展现出巨大潜力，但其端到端性能在很大程度上取决于代理控制框架（agent harness）的设计。然而，现有的数据科学代理往往将控制框架隐式化，导致结果难以复现、比较和归因。为此，研究者提出了 DS-Lighting，一个统一的控制框架工具包，旨在将控制框架的设计显式化，以提升数据科学自动化的可复现性、可比较性和可靠性。
控制框架：数据科学自动化的隐形关键
在数据科学自动化中，代理控制框架承担着任务表示、执行状态管理、输出约束和评估反馈等核心职责。一个设计良好的控制框架能显著提升代理的性能，而隐式的控制框架则可能引入系统级故障，影响最终结果的可靠性。
DS-Lighting：四层解耦与可执行算子
DS-Lighting 将控制框架分解为四个可复用的层次：数据层、工作流层、执行层和评估层。这种分层设计使得控制框架的各个组件可以独立替换和优化。同时，DS-Lighting 将多样化的代理表示为可执行的算子程序，既支持预定义的流水线，也支持自适应搜索，从而兼顾了灵活性和效率。
统一基准与实验验证
为了验证显式控制框架的优势，DS-Lighting 集成了多个开源数据科学基准，并将其转换为 MLE-Bench 风格的任务格式，从而在共享的任务接口、沙箱运行时和度量协议下进行受控比较。实验覆盖了不同的代理、控制框架、模型和消融设置，结果表明：显式控制框架设计能够提高可复现性、可比较性和可靠性，同时减少端到端数据科学工作流中可避免的系统级故障。
开源与未来展望
DS-Lighting 的代码已公开，这为数据科学自动化领域的研究者提供了一个可复现、可扩展的基准平台。未来，随着显式控制框架的普及，我们有望看到更可靠、更高效的数据科学自动化代理，推动 AI 在数据驱动决策中的落地应用。