当前位置：首页 > news >正文

(ICLR26) Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models

news 2026/3/26 19:48:59

这篇论文聚焦天气基础模型（WFMs）的参数高效微调问题，提出了首个针对气象任务特性的 WeatherPEFT 框架，核心是在少量可训练参数下实现与全微调相当的性能。

1、研究动机

WFMs 的优势与挑战：天气基础模型通过大规模预训练获得强泛化能力，但模型规模扩大（达数十亿参数）导致全微调的计算和存储成本过高，难以落地。

现有 PEFT 方法的局限：自然语言处理和计算机视觉领域的 Parameter-Efficient Fine-Tuning (PEFT) 方法（如 LoRA、DoRA）无法适配气象下游任务的特殊性 —— 变量异质性（如温度、湿度）、分辨率多样性（如 0.25°~5.625°）、时空覆盖差异（全球 vs 区域），导致性能不佳。

2、整体框架

作者提出了 WeatherPEFT——一种面向天气基础模型（WFMs）的新型参数高效微调（PEFT）框架。如下图所示，包含两个核心模块：任务自适应动态提示（TADP）与随机费雪引导自适应选择（SFAS）。其中，TADP 通过适配模型的前向传播过程以匹配任务专属特性，SFAS 则在反向传播阶段主导后续的参数更新。

数据输入embedding layer 得到4维张量 E ，各维度分别表示：D是隐藏维度（hidden dimension），存储气象特征的抽象表征；V是物理变量数，如温度、湿度、风速等；Ph×Pw：是空间尺寸，对应数据的分辨率与空间覆盖范围（如 Ph=32, Pw=64 代表 32×64 的网格精度）。首先将 E 输入 TADP 模块处理。

任务自适应动态提示（TADP），包括两个步骤

内部模式提取：用三个适配器（HW-Adapter、V-Adapter、D-Adapter）分别在三个维度进行微调
外部模式整合：合并V，Ph，Pw，通过自注意力机制建模物理变量与空间分辨率的耦合关系，生成 soft prompt token

随机费雪引导自适应选择（SFAS）：气象下游任务差异极大（如全球降尺度 vs 区域降水预报），模型中不同参数的重要性的天差地别。比如负责 “空间关系建模” 的参数对降尺度任务至关重要，但对区域降水预报可能作用有限。SFAS 的核心目标是在保留大模型气象知识的前提下，精准筛选并更新对当前气象任务最关键的少量参数，避免 “全参数微调” 的高成本和 “通用 PEFT” 的适配性差问题。 SFAS包括三个部分：

用费雪信息矩阵量化参数重要性。费雪信息矩阵（Fisher Information Matrix）是衡量 “参数微小变化对模型输出影响程度” 的指标 —— 参数对任务的影响越大，其对应的费雪信息值越高，说明该参数是任务关键参数。SFAS 采用对角矩阵近似，避免计算量爆炸，仅需量化每个参数的独立重要性（如温度变量对应的参数、某一分辨率对应的空间参数）。通过模型预测分布与真实标签的对数似然梯度计算，近似得到每个参数的费雪信息值（公式见Eq.6-7），值越高的参数越优先被选择更新。
退火随机成分稳定选择过程。微调初期，模型参数可能受数据噪声影响，导致部分高费雪信息值的参数是 “伪关键参数”（仅适配噪声，而非任务本质），直接按费雪值筛选会导致过拟合或性能波动。因此，引入随训练进程线性衰减的随机向量（公式见 Eq.8）。训练初期（随机成分权重高）：给参数重要性值加入少量随机扰动，避免过度聚焦于初期噪声相关参数；训练后期（随机成分权重趋近于 0）：逐渐依赖真实费雪信息值，精准锁定任务核心参数。这个步骤通过平衡 “参数选择的准确性” 与 “训练稳定性”，尤其适配气象数据中极端事件（如暴雨、寒潮）的稀疏性带来的噪声问题。
自适应参数子集筛选与更新。根据 “费雪信息值 + 随机扰动后的综合得分”，选择 Top-k 比例的参数（k 为超参数，可设为 0.1%~4%）组成 “任务专属可训练参数子集”，其余参数冻结（保留大模型的通用气象知识）。仅对筛选出的子集参数进行梯度下降更新，无需调整整个模型的数十亿参数 —— 例如在 Aurora（1.3B 参数）模型上，k=0.1% 时仅需更新 1.3M 参数，大幅降低计算和存储成本。