EVOTS：进化Transformer搜索，为时间序列预测定制最优架构
时间序列预测是金融、能源、气象等领域的核心任务，但不同场景的数据模式和预测需求差异巨大。传统方法通常采用固定结构的Transformer模型，面对多变的任务时往往难以达到最佳性能。针对这一痛点，来自克利夫兰州立大学的研究团队提出了一种名为 EVOTS（Evolutionary Transformer Search）的进化神经架构搜索框架，能够自动发现适应特定预测任务的Transformer变体，相关论文已发表于arXiv并即将在2025年GECCO会议上展示。
进化算法驱动的架构探索
EVOTS的核心思想是将神经架构搜索（NAS）与进化算法相结合。研究者设计了一种模块化基因组表示，将Transformer分解为注意力、前馈、投影等可组合的模块，每个模块的参数（如层数、头数、隐藏维度）由基因编码。进化过程中，通过交叉和变异操作生成新架构，并利用一个修复机制确保生成的架构结构合法（例如保证残差连接的正确性）。这种方式无需人工设计搜索空间，能够灵活探索多样化的网络结构。
全面评估：多变量、多设置下的表现
研究团队在经典的ETT数据集（包括ETTh1、ETTh2、ETTm1、ETTm2）上进行了严格测试，覆盖了三种预测模式：单变量到单变量、多变量到单变量、多变量到多变量，以及四种预测长度（96、192、336、720）。在多变量到多变量的设定下，EVOTS搜索出的架构在均方误差（MSE）上显著优于固定结构的Transformer基线，部分场景提升超过10%。例如，在ETTh1数据集预测长度为720时，EVOTS的MSE为0.412，而基线为0.457。
计算成本与实用价值
虽然进化搜索需要额外的计算开销，但论文报告了训练时间作为参考：在单个NVIDIA A100 GPU上，一次完整搜索（约50代）耗时约12小时，而搜索出的模型在后续预测任务中只需标准训练成本。这意味着对于需要长期部署的预测系统，EVOTS的搜索成本可以被摊销。
行业意义与未来方向
EVOTS的提出解决了两个关键问题：一是自动化架构设计，减少人工调参工作；二是任务自适应，使模型能根据数据特性动态调整结构。这对于金融高频交易、电网负荷预测等对精度敏感的领域尤为重要。未来，研究团队计划将框架扩展到更多数据类型（如时空序列），并探索更高效的进化策略以降低搜索成本。
总结来说，EVOTS证明了进化神经架构搜索在时间序列预测中的有效性，为AI自动化机器学习（AutoML）提供了新的思路。对于追求预测精度的开发者，这一方法值得关注。