亚马逊研究团队于2024年提出的一种时间序列预测基础模型Chronos，代表了时间序列领域向大模型范式的重要转变。
模型的核心思想是将时间序列预测重塑为一个条件生成建模或语言建模任务。
设计思想
Chronos旨在成为一个通用的“预训练-微调”基础模型：
-
统一表示：将多元时间序列的数值通过分桶（bucketing）和映射，转换为离散的token序列（类似于文本中的词汇）。
-
基于Transformer的架构：采用纯解码器或编码器-解码器架构（如T5），像处理语言一样处理时间序列token序列。
-
大规模预训练：在包含公开数据集的大规模时间序列语料库（如Monash、UCI等来源的约50亿个时间点）上进行预训练，学习通用的时序模式。
主要技术特点
-
量化与token化：
-
对时间序列值进行分位数分桶，每个桶对应一个token ID。
-
例如，将历史观测值“-0.5, 0.1, 1.3”转换为像“token_15, token_41, token_9”这样的序列。
-
-
上下文学习：
-
在预测时，输入为过去观测值的token序列，模型自回归地生成未来token序列。
-
通过反向token化将预测token转换回数值。
-
-
零样本/少样本能力：
-
得益于大规模预训练，Chronos在未见数据集上表现出优秀的零样本预测性能。
-
可通过少量示例（少样本）或轻量微调快速适配新任务。
-
工作流程
-
输入准备：对历史时间序列进行缩放、归一化、token化。
-
模型推理：输入上下文长度内的token，生成未来时间步的token序列。
-
输出解码：将预测token反转为数值，并可能进行后处理（如调整尺度）。
优势
-
通用性强：一个模型适应多个领域（能源、交通、经济等）。
-
简化流程：无需复杂的特征工程或为每个数据集单独设计模型。
-
性能优越：在零样本和少样本设定下，其表现常超越传统统计模型（如ARIMA）和特定任务模型。
Chronos的“特征”局限性
Chronos 预训练的数据是数值型时间序列的点位，例如“昨天气温25度，今天26度”。它不支持在输入中直接加入以下常见特征：
-
分类特征：如星期几、节假日、产品类别、店铺ID等。
-
文本特征：如产品描述、新闻标题。
-
其他外部回归变量：如促销活动标志、油价、汇率等。
它的“特征”本质上就是历史数值序列本身。 它从海量的、多样的单变量序列中学习通用的时间模式（趋势、周期、季节等），然后将这种模式迁移到新的序列上。
在实践中引入其他特征
如果预测任务必须依赖其他特征，可以采取以下几种工程化的变通方法，但这些方法不再是纯粹的零样本或少样本预测，需要一定的建模工作：
方法A：特征编码到时间序列中（最常用）
将外部特征编码成额外的、同步的时间序列通道，然后用 通道独立（Channel-Independent） 的方式处理，让模型隐式地学习关系。
-
步骤：
-
创建多变量序列：假设要预测销售额
Y，有外部特征“是否节假日H”和“气温T”。构造一个三变量的时间序列[Y, H, T]。 -
分别Token化：对每个变量单独进行分桶和Token化。
-
交错输入：将三个变量的历史Token按时间步交错排列：
[Y_t1, H_t1, T_t1, Y_t2, H_t2, T_t2, ...]。 -
训练/微调：在目标数据集上对预训练的Chronos模型进行微调。模型通过微调来学习
Y与H、T之间的关联。
-
-
优点：能利用特征信息。
-
缺点：必须进行微调，丧失了Chronos“开箱即用”的最大优势；且模型对特征关系的捕捉能力有限。
方法B：将特征作为条件前缀
借鉴大型语言模型的“提示”技术，将特征信息以文本或特殊Token的形式，作为预测任务的条件前缀（Conditional Prefix）。
-
示例：对于预测“北京王府井店、星期天、夏季的冰淇淋销量”，可以构造一个提示前缀Token序列，如
[LOC_BEIJING, STORE_WFJ, DAY_SUNDAY, SEASON_SUMMER]，然后跟上历史销量的Token序列，让模型基于此条件生成未来预测。 -
现状：在原版Chronos论文和官方实现中并未强调或实现此功能，但这是一种理论上的扩展方向，需要重新设计和训练模型。
方法C：分组建模
将具有相同特征组合的序列分组，对每组数据分别使用Chronos进行零样本预测或微调。
-
示例：将所有“北京、周末”的序列归为一组，用这组历史数据作为上下文示例（少样本学习），让Chronos预测新的“北京、周末”序列。
-
优点：无需改变模型，利用了特征。
-
缺点：数据被分割，每组数据量可能变少，影响预测稳定性。
Chronos模型的协变量
工作原理：
-
通道独立编码：每个协变量单独进行分桶token化
-
交错排列：按时间步交错协变量token
-
微调学习：在目标数据集上微调，让模型学习变量间关系
局限性：
-
必须微调，丧失零样本能力
-
模型只能学习训练数据中出现的模式
-
处理未来已知协变量困难
def predict_chronos2(df, selected_features, target, prediction_length, id_column, timestamp_column, model_path='/Users/lxh-mac/Documents/models/amazon/chronos-2'):pipeline: Chronos2Pipeline = BaseChronosPipeline.from_pretrained(model_path, device_map="cpu")energy_pred_cov_df = pipeline.predict_df(df[[id_column, timestamp_column, target]], # 暂时只使用目标变量，不使用协变量future_df=None,prediction_length=prediction_length,quantile_levels=[0.1, 0.5, 0.9],id_column=id_column,timestamp_column=timestamp_column,target=target,)return energy_pred_cov_df['predictions']