时序数据压缩和模态匹配
Less is More: Efficient Time Series Dataset Condensation via Two-fold Modal Matching
这是全球首个面向时间序列的数据集压缩框架TimeDC，用双模态匹配（频率+训练轨迹）把海量时序数据压缩成极小合成数据集，同时让模型效果接近用全量数据训练，大幅降低存储与算力成本。
链接：https://www.vldb.org/pvldb/vol18/p226-miao.pdf
代码：https://github.com/uestc-liuzq/STdistillation
作者：Hao Miao, Ziqiao Liu, Yan Zhao, Chenjuan Guo, Bin Yang, Kai Zheng, Christian S. Jensen
关键词：时序数据压缩，模态匹配
一、研究背景与问题
- 痛点
- 物联网/边缘设备产生海量时序数据，存储、预处理、训练成本极高，边缘设备难以承载。
- 传统方法：核心集（Coreset）靠启发式采样，无法保证最优解；图像领域的数据集压缩方法不适应时序的趋势、周期性等复杂时序依赖。
- 三大挑战
- 有效性与泛化：压缩数据易过拟合，难以适配不同网络。
- 时序依赖：无法捕捉趋势、季节、多变量耦合特征。
- 可扩展性：双层优化耗时、易内存溢出。
二、核心创新：双模态匹配机制
TimeDC用频率匹配保时序模式，训练轨迹匹配保模型泛化，解决上述全部挑战。
1. 整体框架
先在全量数据上预训练专家轨迹存入缓冲池 → 用压缩数据训练模型 → 同时对齐频率与训练轨迹→ 得到极小高质量压缩集。
2. 三大核心模块
（1）时序特征提取 TSFE
- 通道独立机制：把多变量时序拆成单变量单独建模，避免特征耦合干扰。
- 分块机制 Patching：切分成子序列块，大幅降低自注意力复杂度，提速+省内存。
- 堆叠TSOperator：自注意力+全连接层，捕捉长时序依赖。
（2）分解驱动频率匹配 DDFM（保时序模式）
- 对每层特征做时序分解：分离趋势和周期。
- 用余弦相似度对齐原始与压缩数据的频率，保证压缩数据保留趋势、周期性等核心时序规律。
（3）课程式训练轨迹匹配 CT²M（保泛化与效率）
- 专家缓冲池：离线预计算全量数据的模型参数轨迹（专家轨迹），避免在线双层优化，防内存溢出、大幅降训练成本。
- 课程式查询：从“相似轨迹”到“差异轨迹”逐步匹配，让压缩数据模仿全量数据的长期训练动态，提升泛化。
三、总体优化目标
总损失 = 任务专属损失（预测/分类） + 频率匹配损失 + 轨迹匹配损失
四、实验结论（关键结果）
- 效果最优
- 在7个时序预测数据集、3个分类数据集上，超过所有核心集与数据集压缩方法，MAE/RMSE最高降低13.49%/26.59%。
- 压缩数据训练效果接近全量数据。
- 效率极高
- 训练时间比同类方法快73%以上，内存占用最高降至1/10。
- 存储仅为原数据的1%4%**，参数仅为传统Transformer的**1/51/50。
- 泛化强
- 压缩数据可直接用于Autoformer/Informer/Transformer等不同架构，效果稳定。
- 落地场景
- 边缘设备流式学习：解决灾难性遗忘，适配资源受限环境。
五、核心贡献总结
- 首次提出时序数据集压缩，填补技术空白。
- 双模态匹配：频率匹配保时序特征，轨迹匹配保泛化。
- 专家缓冲池+分块机制：解决内存溢出、训练慢的工程难题。
- 实测在预测、分类、边缘流式学习均SOTA，成本大幅降低。
六、一句话概括
TimeDC用“留时序规律+仿训练行为”的双匹配思路，把大数据变成小数据，让时序模型在边缘设备也能低成本、高性能跑起来。