Kairos-23M架构深度解析：混合大小编码器与DRoPE技术原理解析

Kairos-23M架构深度解析：混合大小编码器与DRoPE技术原理解析

【免费下载链接】Kairos_23m项目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_23m

Kairos-23M是一款拥有2300万参数的时间序列基础模型，专为跨领域零样本预测设计。它创新性地融合了动态补丁 tokenizer、混合大小编码（Mixture-of-Size Encoder）和动态旋转位置嵌入（DRoPE）技术，能够高效处理信息密度各异的异构时间序列数据。

核心架构概览

Kairos-23M 基于 Transformer 架构构建，通过三大核心组件实现对时间序列数据的自适应建模：

• 动态补丁 tokenizer：根据局部信息密度动态调整序列分割粒度
• 混合大小编码器：智能选择最优编码尺度以平衡细节捕捉与计算效率
• DRoPE 位置嵌入：将频谱特征与动态补丁策略融合的位置编码机制

模型总参数量约2300万，在包含3000多亿时间点的 PreSTS 语料库上训练，实现了参数效率与预测性能的双重突破。

混合大小编码器：自适应粒度的序列处理

技术原理

混合大小编码器（Mixture-of-Size Encoder）是 Kairos-23M 的核心创新之一。传统时间序列模型通常采用固定长度的滑动窗口处理序列数据，这种方式难以适应不同领域数据的信息密度差异：

• 高频数据（如传感器信号）需要细粒度窗口保留细节
• 低频数据（如经济指标）需要粗粒度窗口捕捉长期趋势

Kairos-23M 通过以下机制实现自适应处理：

1. 多尺度窗口并行提取特征
2. 注意力机制动态加权不同尺度特征
3. 基于信息熵的粒度选择策略

优势表现

这种设计带来两大显著优势：

• 计算效率：对简单序列自动采用大窗口，减少 token 数量
• 预测精度：对复杂序列自动切换小窗口，保留关键细节

DRoPE技术：动态旋转位置嵌入

技术突破

动态旋转位置嵌入（DRoPE）解决了传统位置编码在处理动态补丁序列时的适配问题。其核心改进在于：

• 频谱感知：根据序列的傅里叶频谱特征调整旋转频率
• 补丁对齐：位置编码与动态补丁边界同步变化
• 实例自适应：每个序列样本获得专属位置编码参数

实现方式

DRoPE 通过以下公式动态计算位置嵌入：

PE(pos, freq) = [cos(freq·pos), sin(freq·pos)]

其中频率参数freq由序列的频谱特征和补丁划分结果共同决定，使模型能更好地捕捉时间序列的周期性和局部相关性。

零样本预测能力

Kairos-23M 最引人注目的特性是其强大的零样本预测能力，无需针对特定领域进行微调即可实现高精度预测。这得益于：

• 跨域预训练：在 PreSTS 多领域语料库上的广泛学习
• 自适应架构：混合大小编码器和 DRoPE 技术对新数据的快速适配
• 知识迁移：从高资源领域到低资源领域的知识迁移机制

快速开始使用

要体验 Kairos-23M 的预测能力，可通过以下步骤快速上手：

1. 克隆项目仓库

git clone https://gitcode.com/hf_mirrors/mldi-lab/Kairos_23m

2. 基础预测代码示例

import torch from tsfm.model.kairos import AutoModel # 加载模型 model = AutoModel.from_pretrained( "mldi-lab/Kairos_23m", trust_remote_code=True ) # 准备输入数据 batch_size, context_length = 1, 2048 seqs = torch.randn(batch_size, context_length) # 执行预测 forecast = model( past_target=seqs.float(), prediction_length=96, generation=True ) # 获取预测结果 print(forecast["prediction_outputs"].shape) # (1, 96)

更多详细用法请参考项目官方代码库。

模型家族与未来发展

Kairos 系列目前包含三个型号：

• Kairos-10M：轻量级版本，适合边缘设备部署
• Kairos-23M：平衡性能与效率的主力型号
• Kairos-50M：高精度版本，针对复杂预测任务

随着时间序列基础模型的快速发展，Kairos 架构将继续优化自适应能力和参数效率，为更多领域提供开箱即用的预测解决方案。

引用与致谢

如果使用 Kairos-23M 进行研究，请引用原论文：

@article{feng2025kairos, title={Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models}, author={Feng, Kun and Lan, Shaocheng and Fang, Yuchen and He, Wenchao and Ma, Lintao and Lu, Xingyu and Ren, Kan}, journal={arXiv preprint arXiv:2509.25826v2}, year={2025} }

本项目采用 Apache License 2.0 开源协议，欢迎社区贡献与反馈。

【免费下载链接】Kairos_23m项目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_23m