扩散模型点亮夜间卫星视野：RefDiff实现全天候可见光云图生成

1. 项目概述与核心价值

在气象观测和天气预报领域，可见光卫星云图一直是我们最直观、最有力的工具之一。它能清晰地展示云系的纹理、对流的发展乃至台风眼的结构，其细节丰富度是热红外云图难以比拟的。然而，这个强大的工具有个天生的“短板”：太阳一下山，它就“失明”了。夜间缺乏自然光源，导致我们无法获得连续的可见光观测数据，这对于需要全天候监控的台风、强对流等极端天气系统来说，无疑是一个巨大的信息缺口。

过去几年，我和团队一直在探索如何用人工智能“点亮”夜晚的卫星视野。传统的思路，比如用U-Net这类确定性模型直接回归，或者用生成对抗网络（GAN）去“想象”，我们都试过。效果有，但总差强人意——生成的图像要么过于平滑丢失细节（尤其是厚云区），要么会出现不真实的伪影，而且模型对于夜间与白天数据分布差异的鲁棒性也是个问题。直到扩散模型（Diffusion Models）在图像生成领域大放异彩，我们意识到，这或许是破解夜间可见光生成难题的一把新钥匙。

扩散模型的核心思想很巧妙：它不像传统模型那样直接学习从A到B的映射，而是先学习如何把一张清晰的图片（可见光反射率）一步步加噪声变成完全随机的噪声，再学习如何从这个噪声中，结合给定的条件（比如热红外亮温），一步步去噪，最终还原出目标图片。这个过程是概率性的，意味着对于同一组输入条件，模型可以生成多个略有不同的、但都合理的输出。这种特性让它天生擅长捕捉数据中复杂的、多模态的分布，比如云层反射率那种高度非线性和不确定性的关系。

基于这个思路，我们提出了RefDiff模型。简单来说，它的任务就是：输入风云四号B星（FY-4B）高级静止轨道辐射成像仪（AGRI）的多个热红外通道、地表类型以及卫星天顶角等数据，输出对应时刻在0.47微米（蓝）、0.65微米（红）、0.825微米（近红外）三个波段的模拟可见光反射率图像。实测下来，RefDiff不仅在白天测试集上取得了SSIM 0.90的优异指标，大幅超越U-Net和CGAN，更重要的是，它首次让我们能够以较高的可信度，“看到”台风在夜间的精细结构。这对于提升夜间天气监测、特别是台风定位和强度分析的能力，具有实实在在的业务价值。

2. 核心思路与方案选型：为什么是扩散模型？

2.1 问题本质与现有方案的局限

要理解为什么选择扩散模型，首先要看清这个问题的本质：从热红外数据生成可见光反射率，是一个高度病态的反演问题。同一亮温值，可能对应着不同厚度、不同相态（冰云、水云）、不同高度的云，或者不同的下垫面（海洋、植被、沙漠），它们在可见光波段的反射特性千差万别。因此，这不是一个简单的“一对一”函数拟合，而是一个“一对多”的概率分布学习问题。

我们早期尝试过两种主流方案：

1. U-Net回归模型：将问题视为像素级的回归，使用L1或L2损失直接最小化预测值与真实值的误差。这种方法训练稳定，但容易导致输出过于平滑，倾向于预测“平均”情况。在云系边缘、台风眼墙等反射率梯度大、结构复杂的区域，它生成的图像细节模糊，极端高反射率值（如厚积云顶）经常被低估。
2. 条件生成对抗网络（CGAN）：引入判别器来迫使生成器输出“看起来真实”的图像。CGAN在捕捉纹理细节上通常优于U-Net，但它也有两个顽疾：一是训练不稳定，容易模式崩溃；二是对数据分布偏移（Domain Shift）非常敏感。我们的模型用白天数据训练，却要在夜间做推断。白天和夜间虽然物理关联性存在，但数据分布（如光照条件为零带来的整体反射率下限）已有不同，这容易导致CGAN在夜间生成时出现不合理的伪影或结构扭曲。

2.2 扩散模型的优势解析

扩散模型为我们提供了第三条路，它融合了前两者的优点，又规避了其核心缺点：

• 概率生成而非确定预测：扩散模型学习的是数据分布 ( p(\text{可见光} | \text{热红外等条件}) )。在推理时，它从一个随机噪声开始，在条件的引导下进行多次去噪采样。这个过程允许产生多个合理的样本，而不是单个“最优”估计。这正好匹配了从热红外反演可见光固有的不确定性。
• 强大的细节生成能力：扩散模型通过多步迭代去噪，能够逐步构建出图像从粗糙到精细的结构。这个过程类似于画家先勾勒轮廓再细化细节，使其在生成复杂云系纹理、锐利边缘方面具有天然优势。
• 训练稳定性：扩散模型的训练目标是预测每一步加入的噪声，这是一个定义明确的回归任务，损失函数平滑，训练过程比GAN稳定得多，几乎没有模式崩溃的风险。
• 天然支持集成与不确定性量化：由于生成过程的随机性（起始噪声不同），我们可以轻松地从同一组条件生成多个样本（即集成成员）。这些样本的均值通常比任何单次生成结果更接近真实分布，而样本间的标准差（Std）则直观地反映了模型在该位置预测的不确定性。这对于气象应用至关重要，因为我们可以知道模型对哪些区域的预测把握大（如晴空区），哪些区域不确定性高（如发展剧烈的对流云顶）。

基于以上分析，我们决定以扩散模型为骨架，构建RefDiff。它不是一个简单的“黑箱”应用，而是针对气象遥感数据特点进行了针对性设计：以多通道热红外亮温、地表分类和卫星天顶角作为条件输入，以三波段可见光反射率作为生成目标，通过一个精心设计的U-Net去噪网络来学习这个复杂的、条件依赖的生成过程。

3. 数据准备与预处理：地基不牢，地动山摇

任何AI模型的成功，一半以上取决于数据质量。对于RefDiff，我们构建了一个多源、高质量的数据集，处理流程颇为繁琐，但每一步都至关重要。

3.1 数据源选择与考量

1. 主力数据：FY-4B/AGRI L1级全圆盘数据。选择FY-4B而非FY-4A，是因为其定标和性能更优。我们使用了AGRI的7个红外通道：3个水汽通道（6.25, 6.96, 7.42 μm）和4个长波红外通道（8.55, 10.8, 12, 13.3 μm）。为什么不使用短波和中波红外通道？因为它们在晨昏时段受太阳光污染影响严重，会引入额外噪声，不利于模型学习稳定的物理关联。
2. 关键辅助数据：卫星天顶角（SAZ）。这是很多人容易忽略的一点。卫星观测的辐射值随天顶角增大而衰减（路径增长、大气影响加剧）。如果不考虑SAZ，模型会混淆“因目标物本身反射/发射特性引起的辐射变化”和“因观测几何引起的辐射变化”。将SAZ作为条件输入，相当于告诉模型观测的“视角”，让它能更纯粹地反演目标物本身属性。
3. 地表先验知识：ESA CCI土地覆盖分类数据。海洋、植被、沙漠、城市等下垫面，其热红外发射率和可见光反照率特征截然不同。提供土地覆盖类型作为条件，相当于给了模型一个强大的先验，能显著提升在陆地上空的反演精度，尤其是帮助区分低云和地表。
4. 验证“金标准”：
   • 白天：直接使用AGRI自身观测的可见光反射率作为真值。
   • 夜间：由于AGRI夜间无可见光数据，我们引入了Suomi NPP/VIIRS的DNB（昼夜波段）数据作为替代验证。DNB是一个能在夜间利用月光观测的宽波段（0.5-0.9 μm）传感器。虽然它和AGRI的波段响应函数不同，但经过严格的光谱校正后，可以作为评估夜间生成效果的相对基准。

3.2 数据处理流水线实操要点

数据处理是整个项目中最耗时但决定上限的环节。我们的流程可以概括为：重采样、对齐、质量控制、切片。

1. 时空基准统一：所有数据（AGRI多波段、土地覆盖、SAZ）都统一重采样到4km分辨率的经纬度网格上，空间范围限定在AGRI主要覆盖区（68°E–198°E, 65°S–65°N）。这里有个坑：重采样方法的选择。对于分类数据（土地覆盖），我们使用最近邻法以避免产生无效类别；对于连续变量（亮温、反射率），我们使用双线性插值。一致性是关键。
2. 训练/测试集划分与质量控制：
   • 时间划分：使用2022年6月至2023年5月的数据训练，2023年6月至2024年1月的数据测试。确保测试集在时间上完全独立于训练集。
   • 白天数据筛选：模型只用白天数据训练。我们只选取太阳天顶角（SOZ）小于85°的样本。为什么是85°？因为当太阳高度角很低时（晨昏时段），可见光反射率会因大气散射和光照不足而急剧降低，这些数据质量差且物理上已接近夜间情况，放入训练集会干扰模型学习。
   • 空间过滤：剔除卫星天顶角过大的边缘像元，这些位置观测质量本身较差。
   • 降采样与切片：全圆盘数据量巨大（3252x3525像素）。我们按2小时间隔采样以减少时间冗余，然后将每个时次的数据切割成256x256像素的小块。这一步大大提升了数据加载效率和模型训练速度。最终，我们得到了约26万个高质量的训练样本块。
3. 夜间验证集特殊处理：针对台风案例，我们额外处理了VIIRS DNB数据。核心步骤是将DNB的辐射值转换为大气顶反射率，公式为 ( R_{\text{DNB}} = \pi \cdot L_{\text{DNB}} / (I_{\text{moon}} \cdot \cos(\theta_{\text{moon}})) )。其中，( I_{\text{moon}} ) 是月球辐照度，需要根据观测时间的月相、地月距离、日地距离进行精密校正。然后，由于DNB波段覆盖了AGRI的0.65μm和0.825μm波段，我们需要计算光谱校正系数 ( w_i )，将AGRI生成的两个波段反射率加权融合，以匹配DNB的波段响应。

实操心得：数据预处理中，对齐是最大的挑战。不同传感器、不同产品的时间和空间参考系可能有细微差别。我们开发了一套自动化的匹配程序，基于经纬度网格进行双线性插值重采样，并确保每个像元在时间上完全同步（精确到分钟）。一个像元的时间错位，在快速变化的云系中就会导致巨大的标签误差。

4. RefDiff模型架构与训练细节

4.1 条件扩散模型框架拆解

RefDiff的核心是一个条件去噪扩散概率模型（Conditional Denoising Diffusion Probabilistic Model）。它的工作流程分为清晰的正向和反向两个过程：

1. 正向过程（加噪）：这是一个固定的、无需学习的马尔可夫链。对于一张真实的可见光反射率图像 ( R_0 )，我们在T个时间步内（例如T=1000），逐步向其添加高斯噪声。每一步的噪声量由预设的方差调度表 ( \beta_t ) 控制。最终，在T步之后，( R_T ) 就变成了一个纯高斯噪声。这个过程可以理解为，将清晰的数据分布“扩散”成了一个简单的噪声分布。
2. 反向过程（去噪）：这是模型需要学习的核心。我们训练一个U-Net网络 ( \epsilon_\theta )，它的任务是：在任意第t步，给定一个带噪声的图像 ( R_t ) 和我们的条件信息 ( y )（即热红外亮温、土地覆盖、SAZ），去预测出当前步所添加的噪声 ( \epsilon )。损失函数就是预测噪声与真实添加噪声之间的均方误差（MSE）。
3. 训练目标：最小化 ( L_{\text{simple}}(\theta) = \mathbb{E}{t, R_0, \epsilon} [| \epsilon - \epsilon\theta(R_t, t, y) |^2] )。直观理解就是，教会网络如何根据条件和当前噪声图，“猜出”混入的噪声是什么。
4. 推理生成：从纯高斯噪声 ( R_T ) 开始。对于t从T到1，重复以下步骤：用训练好的U-Net预测当前噪声 ( \epsilon_\theta(R_t, t, y) )，然后根据扩散模型的推导公式，计算出上一时刻更清晰的图像 ( R_{t-1} )。经过T步迭代，最终得到生成的结果 ( R_0 )。

4.2 网络结构设计：为遥感图像定制U-Net

我们采用了改进的U-Net作为去噪网络的主干。针对遥感图像的特点，做了几处关键设计：

• 多尺度特征提取：U-Net的编码器-解码器结构非常适合捕捉从局部纹理到全局云系形态的多尺度特征。我们在下采样和上采样路径中加入了残差连接，缓解了梯度消失问题，让深层网络更容易训练。
• 注意力机制注入：在U-Net的瓶颈层以及解码器的中间层，我们引入了多头自注意力机制。这对于大范围的遥感图像至关重要。例如，模型需要知道一个区域的高亮温，是因为那里有高云（冷云顶），还是因为地表（如沙漠）本身温度高。注意力机制能让网络在生成某个位置的可见光时，动态地参考图像其他区域的条件信息，建立全局关联。
• 条件信息融合：条件信息 ( y )（多波段亮温图、土地覆盖分类图、SAZ图）并不是简单地在输入层拼接。我们采用了交叉注意力（Cross-Attention）机制。在U-Net的多个层级，让去噪过程中的特征图与编码后的条件信息进行交互，使得条件引导能够深度地、多层次地影响生成过程。

4.3 训练策略与参数选择

• 优化器与学习率：使用AdamW优化器，初始学习率设为1e-4，并采用余弦退火调度。我们发现，扩散模型对学习率比较敏感，过大会导致训练不稳定，生成图像有颗粒感；过小则收敛慢。余弦退火能在后期精细调整模型参数。
• 扩散步数T：设置为1000步。这是一个经验值，步数越多，正向扩散越接近纯噪声，理论保障越强，但推理速度越慢。1000步在质量和效率间取得了较好平衡。
• 噪声调度：采用线性增长的 ( \beta_t ) 调度。从 ( \beta_1 = 0.0001 ) 到 ( \beta_T = 0.02 )。这种调度在早期加噪少，保留大部分信息；后期加噪多，确保最终分布接近高斯。
• 批次大小与硬件：在4张NVIDIA A100 GPU上，使用每卡批次大小为4进行训练。总批次大小为16。训练约600个epoch后模型收敛。

注意事项：扩散模型训练非常耗费显存，因为需要存储所有时间步的中间状态用于反向传播。我们采用了梯度检查点技术，以时间换空间，在关键的U-Net模块处重新计算前向传播，而不是存储所有激活值，这使得我们能在有限的显存下使用更深的网络。

5. 集成预测与不确定性估计：从“猜一个”到“猜一群”

这是RefDiff相较于传统方法最具业务价值的一点。我们不是只生成一张图，而是生成一个“预测集合”。

5.1 如何操作集成预测

在推理阶段，对于同一组输入条件（同一时刻的热红外等数据），我们使用不同的随机种子初始化起始噪声 ( R_T )，运行30次独立的反向去噪过程。这样就会得到30张略有不同的生成图像，它们构成了一个“集成成员”集合。

• 集成平均：将这30张图像逐像素求平均，得到最终的“最优估计”图。我们的实验表明（见图2e），随着集成成员数量增加，平均结果的RMSE下降，SSIM上升，在成员数达到25左右时趋于稳定。因此我们选择30次，以留有余地。
• 不确定性估计：计算这30张图像在每个像素点的标准差（Std），这张Std图就是不确定性量化图。Std大的地方，说明模型对于该像素该生成什么值分歧较大，预测把握低；Std小的地方，则说明模型预测一致性强，结果可靠。

5.2 集成预测的价值解读

1. 提升精度：集成平均通过“集体智慧”平滑掉了单次生成中可能出现的随机偏差或异常值，使得最终结果更接近真实分布的平均状态。这在处理反射率极端值（如深厚对流云顶）时效果尤为明显。
2. 提供可靠性指标：不确定性图是给预报员的“信心地图”。例如，在台风眼墙附近，由于云顶结构极其复杂且变化迅速，模型的不确定性通常会升高。这提醒预报员，此处生成的结果需要谨慎参考，可能需要结合其他观测手段。而在大范围的层云区或晴空区，不确定性通常很低，生成结果可信度高。
3. 覆盖真实值：我们统计了真实值落在30个集成成员最大值和最小值区间内的比例（Ensemble Coverage Proportion）。如图2f所示，这个比例随着集成成员数增加而快速上升。这意味着我们的集成预测区间能够很好地包裹住真实情况，具备了概率预测的属性。

6. 结果分析与业务应用展示

6.1 定量评估：数字说话

我们在完全独立的测试集上（2023年6月-2024年1月，每月1、11、21日）对比了RefDiff、U-Net和CGAN。结果令人振奋（见表1）：

关键指标解读：

• SSIM（结构相似性指数）：这是衡量图像结构相似度的黄金指标，范围-1到1，越接近1越好。在图像处理领域，SSIM > 0.9通常意味着人眼难以区分两幅图像的差异。RefDiff在三波段均达到0.9左右，而U-Net和CGAN仅在0.8附近。这0.1的差距，体现在图像上就是云系纹理从“有点糊”到“很清晰”的质变。
• MAE/RMSE（平均绝对误差/均方根误差）：RefDiff将误差降低了约30%-40%。这意味着生成图像的像素值更接近真实值。
• PSNR（峰值信噪比）：RefDiff也有显著提升，表明生成图像的噪声更低、质量更高。

6.2 定性分析：看图对比

我们选取了2023年9号台风“苏拉”作为一个典型案例（图3）。在AGRI真实可见光云图上，台风眼清晰，眼墙结构密实，螺旋雨带纹理分明。

• U-Net结果：生成的台风结构模糊，眼墙几乎无法辨认，螺旋雨带呈片状，细节丢失严重。整体感觉像是“一团模糊的白色”。
• CGAN结果：比U-Net稍好，能看出一些螺旋雨带的纹理走向，但台风眼仍然缺失，且在部分区域出现了不连贯的、块状的伪影。
• RefDiff结果：与真实图像最为接近。不仅清晰地生成了台风眼（尽管比真实稍大），眼墙的闭合环状结构和螺旋雨带的纤维状纹理都得到了很好的再现。将三波段结果合成真彩色图后，RefDiff的结果在视觉上已非常接近真实的卫星云图。

6.3 夜间生成能力验证：突破“黑暗”

白天的优异表现只是第一步，真正的考验在夜间。我们利用VIIRS DNB数据对模型在夜间台风案例上的表现进行了评估。

挑战：模型完全由白天数据训练，夜间没有任何可见光标签。且夜间光源（月光）远弱于日光，地表和云层的反射信号极其微弱。

结果（表2）：RefDiff再次展现了强大的鲁棒性。其夜间MAE（0.048）与白天（0.034）相比虽有增加，但远小于U-Net和CGAN的增幅。特别是CGAN，其夜间MAE飙升至0.113，SSIM降至0.766，出现了明显的域适应问题——即模型无法很好地泛化到与训练分布（白天）差异较大的夜间数据。而RefDiff的夜间SSIM仍保持在0.88的高水平。

从图8的夜间台风案例可视化可以看出，RefDiff生成的云系结构与VIIRS DNB观测到的结构吻合度很高，而U-Net结果过于平滑，CGAN则在某些区域产生了虚假的云团（图9红框所示）。这证明了扩散模型在应对数据分布变化时更强的稳定性。

6.4 一个有趣的应用：晨昏线附近的监测

图6展示了一个极具说服力的场景：2023年台风“杜苏芮”在2023年7月28日10:00 UTC恰好位于晨昏线上。在真实的AGRI图像（图6a）中，位于夜间的半边台风因无光照而完全不可见。然而，RefDiff仅依靠该区域的热红外等信息，成功生出了夜间半边的可见光结构（图6b），并且与白天的半边在晨昏线处无缝衔接。这生动地证明了RefDiff具备全天候生成可见光的能力，真正弥补了夜间观测的空白。

7. 常见问题、挑战与未来展望

7.1 实际部署中的挑战与应对

1. 计算资源与时效性：扩散模型需要迭代去噪（如1000步），即使经过优化，生成一张全圆盘图也比U-Net慢一个数量级。解决方案：我们正在探索使用潜空间扩散模型。即先用一个编码器将高分辨率图像压缩到低维潜空间，在潜空间进行快速扩散生成，再用解码器恢复为图像。这有望将推理速度提升数十倍，满足准实时业务需求（如10分钟一张图）。
2. 对输入数据质量的依赖：模型性能高度依赖输入的热红外数据质量。如果热红外通道因仪器噪声、定标偏差或大气校正误差出现问题，会直接传导至生成结果。解决方案：在数据预处理管道中加入更严格的质量控制（QC）标志，自动识别并剔除或标记可疑的输入像元。同时，可以考虑在模型中引入对输入数据不确定性的建模，让模型学会“怀疑”有问题的输入。
3. 极端天气下的外推能力：训练数据可能未覆盖所有类型的极端天气（如某些特殊结构的超级单体、罕见的火山灰云等）。解决方案：持续收集和标注更多极端案例，加入训练集。同时，利用集成预测的不确定性输出：当模型遇到“陌生”场景时，其不确定性图会普遍升高，这本身就是一个有效的预警信号。

7.2 未来优化方向

1. 多模态数据融合：目前的条件信息主要是AGRI自身数据。未来可以融合更多源数据，如微波辐射计数据（对云中液态水、降水更敏感）、数值预报模式输出的温湿廓线、甚至闪电定位数据。这些信息能为模型提供更丰富的物理约束，有望进一步提升在复杂对流系统下的生成精度。
2. 时序建模：当前的RefDiff是“帧独立”的，只利用单一时次的信息。气象是连续的，云是运动的。引入视频扩散模型或循环神经网络结构，让模型能够利用前几个时次的热红外序列来预测当前时次的可见光，可能会更好地捕捉云系的演变趋势和运动模糊，生成更连贯、更合理的动画。
3. 面向下游任务优化：目前我们优化的是像素级的反射率精度。但最终用户（预报员）可能更关心某些派生产品，如云分类、对流初生预警、台风定强等。可以考虑设计多任务学习框架，或者在损失函数中引入针对这些高级特征感知的损失（如感知损失、对抗损失），让生成的图像不仅在像素上像，在气象学特征上也更“有用”。

RefDiff的实践表明，生成式AI，特别是扩散模型，为突破传统遥感观测的物理限制提供了全新的思路。它不仅仅是一个“图像翻译”工具，更是一个基于物理关联和数据驱动融合的“观测模拟器”。将这项技术业务化，意味着我们有望为全球气象界提供一套稳定的、高精度的、全天候的“虚拟可见光”卫星产品，这将在夜间灾害性天气监测、气候研究等领域产生深远影响。这条路才刚刚开始，但前方的光，已经可见。