时间序列即语言:面向通用时间序列基础模型的通用分词器
核心突破:时间序列也能像语言一样训练
大语言模型(LLM)的成功很大程度上归功于“下一个词预测”(Next-Token Prediction, NTP)范式,但这一范式难以直接应用于无界、连续的时间序列数据。近日,来自上海交通大学和华为的研究团队提出了一种名为 UniTok 的通用分词器,能将时间序列转化为离散 token,并在此基础上预训练出基础模型 UniTok-FM,首次在时间序列领域实现了类似 LLM 的零样本、少样本及上下文学习能力。
技术亮点:如何让时间序列“开口说话”
UniTok 的设计核心是一个向量量化自编码器,它包含三个关键创新:
- 前缀归一化(Prefix Normalization):对序列进行尺度稳定化处理,消除不同量纲对 token 化的影响。
- 渐进分辨率因果架构(Progressive-Resolution Causal Architecture):编码和解码时逐步细化时间分辨率,既保留全局趋势又捕捉局部细节。
- 结构保持重建损失(Structure-Preserving Reconstruction Loss):训练时强制保留序列的时序依赖结构,而非简单最小化像素级误差。
UniTok-FM 则直接采用现成的 LLM 架构,无需针对时间序列做任何修改。其预训练方式也与众不同:并非在孤立序列上进行 NTP,而是在由多条具有相似模式的序列构成的上下文窗口上执行预测,从而捕获共享的动态规律。
能力实测:一个模型搞定三大任务
实验覆盖了预测、生成和分类三大典型时间序列任务,结果显示:
- 零样本预测:UniTok-FM 无需任何下游数据微调,即可直接进行预测,效果超越统计基线(如 ARIMA)和有监督基线(如 LSTM)。
- 提示增强预测(Prompt-Boosted Forecasting):通过提供少量示例作为提示,性能进一步提升。
- 少样本生成与分类:支持训练无关的上下文推理(Training-Free In-Context Inference),即无需重新训练,仅通过调整输入上下文即可完成不同任务,这是此前工作未能实现的。
与专门的时序基础模型(如 TimesFM、Lag-Llama)相比,UniTok-FM 在多个 benchmark 上也取得了具有竞争力甚至更优的结果。
行业意义:迈向通用时序智能
当前时间序列建模领域仍以“专模专用”为主:预测模型、分类模型、生成模型各自独立,且往往需要大量标注数据。UniTok-FM 的出现表明,将时间序列“语言化” 是一条通往通用时序智能的可行路径。
这一思路与多模态大模型的发展脉络一致——通过统一的 token 表示和自回归预训练,让模型学会跨任务、跨领域的通用知识。未来,UniTok 有望扩展到更多时序场景(如医疗、金融、工业物联网),甚至与文本、图像 token 融合,构建真正的“时序+多模态”基础模型。
当然,该工作目前仍处于 arXiv 预印本阶段,实际部署中的计算开销、长序列处理能力、以及异常值鲁棒性等挑战尚待进一步验证。但其提出的“时间序列即语言”理念,无疑为时序 AI 的研究打开了一扇新的大门。