时序令牌的连续性与有序性：约束时序令牌以提升大语言模型时序分析效果
基于令牌的时间序列大语言模型（TS-LLMs）在处理时间序列分析和推理任务上展现出潜力。然而，现有研究普遍忽视了时间序列令牌固有的连续性和有序性，这严重限制了模型性能。最新研究《Continuity and Ordinality Matter: Constraining Time Series Tokens for Effective Time Series Analysis with Large Language Models》提出了 COM（Continuity and Ordinality Matter） 策略，通过在初始化和训练阶段引入几何约束，强制保留令牌的连续性和有序性。实验表明，COM 在多个时间序列分析基准上一致提升了基于令牌的 TS-LLM 性能，取得了具有竞争力的结果和强泛化能力。该工作代码已开源。
背景：时序令牌的“软肋”
时间序列数据（如股票价格、传感器读数）本质上是连续且有序的：相邻时间点数值变化平滑，且顺序不可颠倒。当将时间序列分割为令牌（token）输入大语言模型时，传统做法往往将每个令牌视为独立离散符号，忽略了相邻令牌间的数值渐变关系以及时间顺序。这好比把一首旋律拆成一个个孤立的音符，却丢失了音高变化和节拍顺序——模型自然难以“听懂”完整曲目。
COM 策略：几何约束注入连续性与有序性
研究团队提出的 COM 策略，核心思想是在令牌嵌入（embedding）中显式编码连续性和有序性。具体而言，COM 在嵌入空间中施加几何约束：
- 连续性约束：鼓励相邻时间点的令牌嵌入在空间中保持相近距离，反映数值的平滑变化。
- 有序性约束：强制令牌嵌入的排列顺序与时间顺序一致，避免模型混淆前后关系。
这些约束同时作用于模型初始化和训练阶段。初始化时，嵌入被预设为满足连续有序的几何结构；训练过程中，通过正则化项持续约束嵌入更新，防止模型“遗忘”这些关键属性。
效果：全面超越基线，泛化性强
在多个时间序列分析基准上（包括分类、回归、预测等任务），COM 策略一致提升了基于令牌的 TS-LLM 性能。与未加约束的基线相比，COM 不仅提高了准确率，还展现出更强的跨数据集泛化能力。这意味着模型并非“死记硬背”特定模式，而是真正学会了利用时序的连续有序特性进行推理。
行业意义：打通 LLM 与时序分析的“任督二脉”
当前，将大语言模型用于非文本数据（如时间序列、图表、代码）是 AI 研究的热点。COM 策略提供了一个轻量级但有效的改进方向：与其设计复杂的模型架构，不如在输入表示层注入领域知识。这启示我们，未来 TS-LLM 的进步可能更多来自对数据本质属性的深刻理解，而非单纯堆叠参数。
此外，COM 的开源释放了可复现的基准，有助于社区快速验证和迭代。对于金融、工业监控、医疗等依赖时序数据的行业，这一工作有望提升 AI 系统在异常检测、趋势预测等场景下的可靠性与可解释性。
