精选今天0 投票
为何解决两次？层次化技能积累实现迁移高效的ML工程
核心发现：知识组织比模型规模更重要
在ML工程竞赛中，智能体往往重复发明轮子——每次竞赛都从零开始，浪费大量算力。一篇被ICML 2026 Workshop接收的论文提出了HASTE系统（层次化多智能体技能迁移框架），通过三层作用域（全局、领域、竞赛特定）组织跨竞赛知识，并用LLM驱动的抽象层实现层级间学习。
关键实验结果
- 奖牌率翻倍：在控制159个技能库存不变的情况下，层次化加载实现100%奖牌率，而平面加载仅62.5%（与不加载技能相同），且输出token消耗翻倍。
- 全基准测试：在MLE-Bench Lite的22个Kaggle竞赛中，HASTE使用Claude Sonnet 4.6在每竞赛12小时内达到77.3%奖牌率。
- 冷启动 vs 热启动：热启动（复用全局和领域级技能）相比冷启动减少52%的细化迭代次数，且智能体保留的提议比例从低库存时的42%升至拥有50+技能时的85%。
层级设计如何工作？
HASTE包含三层智能体：
- 全局层：存储跨领域通用技能（如数据预处理模板）
- 领域层：针对特定领域（如NLP、计算机视觉）的优化策略
- 竞赛特定层：当前竞赛的临时知识
一个协调器（orchestrator）负责调度领域专家，并通过LLM驱动的抽象机制将底层经验提升到更高层级。这种设计使得知识可以跨竞赛迁移，而无需每次从头学习。
行业启示
这项研究暗示，更好的知识组织可以部分替代模型强度和算力预算。对于AI工程自动化领域，HASTE提供了一条务实路径：与其追求更大模型或更多GPU，不如构建结构化的技能积累系统。论文作者来自阿尔伯塔大学，代码尚未开源，但方法已通过消融实验充分验证。
一句话总结：“不要解决两次”——层次化技能库让ML智能体越用越聪明，算力效率提升显著。