基于含噪监督的卫星影像树木计数
大家读完觉得有帮助记得关注和点赞!!!
摘要
计数单棵树木是环境监测的一项基本任务,但在卫星影像领域仍未得到充分探索。在这些分辨率下,孤立的树木仍然可以被识别,但在茂密森林中树冠边界变得模糊不清,使得单棵树木的概念本身定义不明确。此外,大规模人工标注单棵树木的成本高得令人望而却步。虽然可以从机载激光雷达(LiDAR)获得可扩展的监督信号,但由此产生的标注含有噪声且难以有效利用。我们通过将树木计数表述为一个空间密度匹配问题,并使用非平衡最优输运(Unbalanced Optimal Transport)进行监督来解决这些挑战。这种表述自然能够同时适应孤立树木的精确定位和茂密森林中的鲁棒密度估计。我们进一步引入了一种自校正机制,利用输运残差在训练过程中逐步精炼含噪的监督信号。我们在TinyTrees(一个新的基准数据集)上评估了我们的方法,该数据集跨越三大洲和三个卫星传感器,在超过23,000 km²的范围内包含超过2.15亿个树木标注(包括773K个人工验证的实例)。我们的方法持续优于基于检测、基于回归和基于输运的分布匹配基线方法,证明了非平衡输运和可靠性感知监督在大规模卫星影像树木计数中的有效性。代码、数据和模型可在 github.com/dgominski/treematch 获取。
1 引言
大多数大规模树木监测工作侧重于森林覆盖度[Hansen等人,2013]、生物量[Santoro等人,2021]或树冠高度[Tolan等人,2024;Fogel等人,2025;Pauls等人,2024],这些提供了聚合指标,并未捕捉到树木级别的结构。然而,估算单棵树木的数量和空间分布对于环境监测和土地管理至关重要。事实上,许多关键应用需要树木级别的分析:包括再造林追踪[Cao等人,2011]、生物量和碳估算[Kankare等人,2013]、生物多样性评估[Beloiu等人,2023],以及监测人工树木结构如树篱[Muro等人,2025]和城市树木[Ventura等人,2024;Beery等人,2022]。
尽管如此,基于卫星影像的大规模树木计数仍未得到充分探索,现有数据集仅限于小规模航空影像和狭窄的地理覆盖范围[Chen和Shang,2022;Yao等人,2021],限制了系统评估和专用方法的开发。
图1:从太空计数树木。我们介绍了TreeMatch,一个用于估算极高分辨率(VHR)卫星图像
(a)卫星图像
(b)强标签 数量:361棵
(c)弱标签 数量:77棵树
(d)预测密度数量:395棵
能够精确定位孤立树木,同时适应个体边界模糊的密林区域。
挑战。
从卫星影像计数树木提出了几个独特的技术挑战。树冠大小差异很大,从小于1 m²到几百平方米不等,并且并非总能定义一个清晰的物体中心。它们出现在异质的空间配置中,从孤立的个体到茂密的森林冠层。在卫星分辨率下,单个树冠通常只占几个像素,传感器模糊可能合并相邻树木。因此,在密林区域描绘变得定义不清,而对于孤立树木则仍然可行。由于真实世界场景结合了可分离的实例、密集簇和中间状态,用单一的全局一致性表述来解决树木计数问题是困难的。
用于树木计数的精确人工标注成本高昂,且规模通常有限。然而,大规模的监督可以从机载激光扫描(ALS)中自动导出,尽管可靠性要低得多。因此,在卫星尺度上的有效学习需要能够明确适应含噪和异质标注的表述。
贡献。
为了应对这些挑战,我们做出了三点贡献。首先,我们引入了TinyTrees,这是第一个用于卫星影像树木计数的大规模基准数据集。该数据集跨越三大洲和三个卫星传感器,覆盖超过23,000 km²,包含超过2.15亿个树木标注,其中包括77.3万个手工验证的实例。其次,我们提出了TreeMatch,一个基于非平衡最优输运的密度匹配框架。这种表述自然地处理了异质的计数场景,能够精确定位孤立树木,同时在实例边界模糊的密林冠层中保持鲁棒性。第三,我们利用非平衡输运解的边际残差在训练过程中自动校正弱标注。这一机制使得能够从大规模含噪监督以及稀疏的高质量标签中有效学习,为异质标注质量提供了一个原则性的解决方案。
结果。
在三大洲和三个卫星传感器上,TreeMatch持续优于基于检测、基于回归和基于分布匹配的基线方法。我们的表述展示了对弱监督的改进鲁棒性,并在不同的森林类型和成像条件下保持了强劲的性能。
2 相关工作
表1:树木计数数据集。 与现有数据集相比,TinyTrees大幅扩展了地理覆盖范围、标注规模(数量级)和传感器多样性。GSD表示地面采样距离(空间分辨率)。† 表示数据不可访问。
数据集 | 位置 | 传感器 | GSD (m) | 面积 (km²) | 标签 | |
|---|---|---|---|---|---|---|
人工 | 自动 | |||||
Yosemite Tree [Chen和Shang,2022] | 加利福尼亚 | 航空 (0.1m) | ~10 | ~100K | - | |
† VHRTrees [Topgül等人,2025] | 土耳其 | Google Earth (0.5m) | 23 | 26K | - | |
KCL-London | 伦敦,英国 | 航空 (0.2m) | 38 | 95K | - | |
† GF-II [Yao等人,2021] | 中国 | 高分2号 (0.8m) | 56 | ≥100K | ||
DRIFT [Li等人,2024] | 法国 | 航空, SkySat (0.2-0.5m) | 62 | - | 526K | |
NEON Benchmark [Weinstein等人,2021] | 美国 | 航空 (0.1m) | ≤100 | 12K | 9.3M | |
TinyTrees (ours) | 中国, 非洲, 法国 | 高分2号, Planet, SPOT6 (0.8-4.2m) | 23.7K | 773K | 215M |
物体计数。
物体计数是计算机视觉中一个成熟的问题。一种常见的方法是将物体标注通过用高斯核卷积点位置转换为密度图,并使用像素级回归损失训练模型[Lian等人,2019;Oñoro-Rubio和López-Sastre,2016]。后续工作根据局部密度调整核大小[Wan和Chan,2019]。或者,基于检测的方法通过边界框[Liu等人,2019]或点[Song等人,2021]定位实例。当物体边界清晰时,这些方法很有效,但在严重重叠或杂乱的情况下(这是密林冠层的典型条件),可分离性假设失效,基于检测的方法性能会下降。
树木制图。
遥感领域的最新进展使得大规模树木分析成为可能,包括孤立树木检测[Tucker等人,2023]、树冠高度估算[Lang等人,2023;Tolan等人,2024]和物种制图[Mu等人,2025]。这些工作得到了公共数据集的支持,这些数据集提供了树冠描绘、点标注[Veitch-Michaelis等人,2024]、LiDAR点云[IGN]和物种标签[Gaydon和Roche,2024;Ahlswede等人,2023]。然而,树木计数本身通常被视为检测的副产品[Brandt等人,2020;Chen和Shang,2022],并且不存在专门用于卫星影像的大规模基准。此外,连续冠层中的树木表现出重叠和不规则的树冠[Voulgaris,2025],使得精确描绘变得困难。虽然高分辨率数据和专用模型可以改善分割[Wielgosz等人,2024;Firoze等人,2023],但这种方法成本高昂且难以扩展。因此,近期工作越来越多地依赖机载LiDAR来导出大规模监督[Gominski等人,2025;Fogel等人,2025]。然而,LiDAR衍生的标签引入了结构化和相关的误差,这推动了噪声鲁棒性表述的需求。
用于计数的分布匹配。
人群计数面临着密度变化、重叠和标注不确定性等类似挑战。这推动了概率性表述的发展,用分布匹配目标取代严格的像素级回归[Ma等人,2019;Wang等人,2020],提高了对空间模糊性的鲁棒性。与我们工作最接近的是,Ma等人[Ma等人,2021]提出使用UOT进行人群计数。尽管存在这些相似之处,但分布匹配方法尚未被系统地探索用于基于卫星影像的大规模树木计数。
3 方法
我们首先回顾非平衡最优输运(第3.1节),然后描述如何将其用于树木密度回归(第3.2节)。接着,我们提出一种方法来引导边际输运的结果以校正弱标注(第3.3节)。最后,我们介绍利用强标注和弱标注训练模型的方法(第3.4节)。
3.1 非平衡最优输运入门
我们简要回顾最优输运及其非平衡变体,重点介绍我们表述所需的要素。已熟悉最优输运的读者可跳过此小节。
最优输运(OT)。
最优输运[Villani,2009]在考虑底层空间几何形状的同时,测量将一个概率分布转换为另一个概率分布的成本。设 μ∈R+nμ∈R+n 和 ν∈R+nν∈R+n 为两个离散概率分布,满足 1⊤μ=1⊤ν=11⊤μ=1⊤ν=1,其中 11 表示全1向量。设 C∈R+n×nC∈R+n×n 为成本矩阵,其中 CijCij 表示将单位质量从位置 ii 运输到位置 jj 的成本。OT寻求一个满足 μμ 和 νν 边际分布的运输计划 γγ:
Monge–Kantorovich OT问题定义为
其中 ⟨C,γ⟩=∑i,jCijγij⟨C,γ⟩=∑i,jCijγij。直观上,OT计算将一种分布重塑为另一种分布所需的最小代价。
熵正则化最优输运。
精确求解(1)计算量很大。Cuturi等人[Cuturi,2013]引入负熵惩罚,得到松弛目标
其中 ε>0ε>0 控制运输计划的平滑度。(2)的解可以使用Sinkhorn迭代高效近似。该过程快速、GPU友好且可微,这使得熵正则化OT在深度学习中广泛用作损失函数。
非平衡最优输运(UOT)。
在许多应用中,包括密度回归,两个分布可能不具有相同的总质量。因此,强制执行严格的边际约束是不现实的,并可能使优化不稳定。非平衡最优输运[Chizat等人,2018]通过允许以受控成本创造或销毁质量来放松这些约束。给定两个具有任意总质量的非负测度 μμ 和 νν,UOT求解
其中 τ>0τ>0 控制偏离相对于源分布 μμ 和目标分布 νν 的质量守恒的惩罚,KL(⋅∥⋅)KL(⋅∥⋅) 表示非负测度之间的广义Kullback–Leibler散度[Chizat等人,2018]。
图2:TreeMatch。给定一幅VHR卫星图像,网络 ϕϕ 预测一个连续的树木密度图。训练使用两种监督来源:强标签(人工点标注)和弱标签(自动导出的树木覆盖掩膜)。强标签同时监督全局计数损失和基于UOT的对齐损失。对于弱标签,我们首先求解一个UOT问题(不进行反向传播)以计算边际残差。这些残差用于校正弱标注。然后在校正后的标签和预测之间应用第二个UOT损失,并从中传播梯度以更新模型。
3.2 使用最优输运学习计数树木
最优输运提供了一种通过联合考虑几何形状和质量分布来比较空间测度的自然方式。非平衡表述特别适用于我们的场景,因为它将几何对齐与精确的质量守恒解耦,从而适应计数误差和标注噪声。
设定。
我们考虑定义在大小为 N=H×WN=H×W 的像素网格上的输入图像 x∈RH×W×Cx∈RH×W×C。真值标注表示为非负密度图 y∈R+Ny∈R+N。根据监督来源,yy 可以编码密集的树木覆盖图或稀疏的二值图,其中 yi=1yi=1 表示像素 ii 处标注的树冠中心。该表示定义了图像域上的一个离散测度,而非概率分布。标注树木的总数为 ∑iyi∑iyi。
我们训练一个模型 ϕϕ,将 xx 映射到非负密度图 z∈R+Nz∈R+N,其中 zizi 表示像素 ii 处的预测质量。与 yy 类似,预测不被归一化。预测的树木数量通过对所有像素求和得到,即 ∑izi∑izi。
计数监督。
第一个监督信号强制预测计数与真实计数之间的一致性:
虽然该损失强制全局计数一致性,但它不提供空间监督。
使用非平衡最优输运的密度匹配。
在我们的场景中,直接使用KL散度比较预测密度 zz 和标注测度 yy 是不合适的。实际上,KL散度严重惩罚空间错位:将质量分配到邻近但未标注的像素可能会产生任意大的损失。在我们的场景中,树心的精确位置本身是模糊的,尤其是在密林冠层中。相反,我们使用最优输运对齐 zz 和 yy,它在明确考虑几何邻近性的同时比较空间测度。我们使用像素位置之间的平方欧氏距离定义成本矩阵 CC:
其中 pos(i)pos(i) 表示像素 ii 的二维坐标。长距离运输质量会受到惩罚,这鼓励预测密度集中在标注位置附近,同时容忍小的定位偏移。
DM-Count [Wang等人,2020] 通过将预测和真值都归一化为概率分布,将经典(平衡)OT应用于人群计数。这种归一化隐式地强制两个测度具有相等的总质量。然而,在我们的场景中,标注可能含有噪声或不完整,预测计数可能与真实计数有显著差异。我们转而采用非平衡最优输运(UOT),它放松了质量守恒约束。UOT允许以受控的惩罚在局部创造或移除质量,将几何对齐与精确的质量相等性解耦。损失定义为
其中 εε 控制熵正则化,ττ 控制对质量差异的容忍度。这种表述保留了OT的几何对齐特性,同时明确适应计数不确定性。
3.3 引导边际残差
边际残差(图): 一幅卫星图像(图(a))用弱标签(图(b))标注,并由模型处理以产生密度预测(图(c))。由此产生的边际残差(图(d))突显了标注与预测之间的不一致,揭示了潜在的遗漏树木(红色)和虚假标注(蓝色)。
从自动化流程导出的树木标注本质上含有噪声,通常包含虚假检测或在密林区域遗漏树木。这些错误发生在单棵树木层面,使得难以用单一的全局甚至图像级松弛参数来解决。我们没有引入启发式的过滤规则,而是利用求解非平衡最优输运(UOT)问题时自然产生的局部质量差异。
来自输运的边际残差。
在求解预测密度 zz 和标注测度 yy 之间的UOT时,可以以受控成本丢弃和创造质量。设 γγ 为最优运输计划。列边际 γ⊤1γ⊤1 表示在输运几何下实际匹配到每个标注的质量量。我们将边际残差定义为
如图2所示,正值表示运输分配给某位置的质量多于原始标注,表明存在遗漏的检测。负值表示标注的质量未被预测支持,表明存在过度标注。
引导目标。
我们使用此残差逐步精炼监督信号:
其中 λ(t)∈[0,α]λ(t)∈[0,α] 在训练过程中从0增加到 α∈[0,1]α∈[0,1]。在训练早期,λ(t)≈0λ(t)≈0,监督依赖于原始标注。随着模型校准得更好,λ(t)λ(t) 增加,目标逐渐整合运输一致的校正。重要的是,运输计划 γγ 始终相对于原始标注 yy 计算,确保校正不依赖于先前重新加权的目标。
3.4 使用弱和强树木标签学习
大规模人工标注单棵树木的成本高得令人望而却步。相反,近似的树心或树冠标注可以从机载激光扫描(ALS)数据中自动导出(见第4.1节)。虽然这些弱标注提供了信息,但在密林中它们变得嘈杂,可能包含遗漏或虚假检测。相比之下,人工标注准确但稀疏。因此,我们考虑两个训练集:一个具有可靠空间定位和计数的强集 DstrongDstrong,和一个更大的、标注可能不准确的弱集 DweakDweak。
给定预测 ϕ(x)ϕ(x),强标签使用计数损失 LcountLcount 和基于UOT的分布匹配损失 LUOTLUOT 同时监督全局计数和空间对齐。对于弱标签,我们首先计算边际残差(第3.3节)并使用它们形成校正后的标注 y~y~。此校正的计算不涉及反向传播。然后我们在预测和 y~y~ 之间应用UOT损失,并允许反向传播。总体目标为
其中 stop_gradstop_grad 表示停止梯度操作符,防止梯度流过校正步骤。这种表述使得能够从含噪监督中进行大规模学习,同时在有干净标注的地方保留可靠的计数和空间约束。虽然弱标签通常比强标签丰富得多,但我们以可比较的大小对 DweakDweak 和 DstrongDstrong 进行采样。这确保了来自强标注的准确计数监督,同时稳定了训练,并防止了应用于噪声标签的校正机制产生循环反馈。
实现细节。
运输计划平滑度 εε 设置为0.005,在归一化坐标下产生约 ε≈0.07ε≈0.07 的有效交互半径。质量偏差惩罚 ττ 根据数据集设置在0.1到0.5之间,平衡创造单位质量与在单位空间距离(归一化坐标)上运输单位质量的成本。较小的 ττ 值降低质量灵活性,而较大的值允许密度的适度偏移。调度器 λ(t)λ(t) 在前400个优化步骤中使用调温S型调度从0增加到 α=0.8α=0.8。对于所有数据划分,我们使用默认参数的AdamW [Loshchilov和Hutter,2019]。我们训练500个周期,使用余弦退火学习率调度器,初始值为8e-5。弱和强训练样本按分层1:1的比例抽取。
4 实验
表2:TinyTrees数据集概览。 按区域和划分的数据集统计。弱标注从航空LiDAR扫描导出的高度/树冠预测中获得,而强标注是通过照片解译(🖊️)或野外调查(🌲)获得的人工标注。⋆:使用中等密度LiDAR,可能低估。
位置 | 传感器 / GSD | 划分 | 面积 (km²) | #树木 | 标签来源 |
|---|---|---|---|---|---|
中国 | 高分2号 0.8m | Train-weak | 50.3 | 7.70M⋆ | 高度回归 |
Train-strong | 5.9 | 56.6K | 人工 🖊️ | ||
Test | 7.02 | 71.5K | 人工 🖊️ | ||
卢旺达 | PlanetScope 3.4-4.2 m | Train-weak | 209.3 | 3.41M | 树冠分割 |
Train-strong | 48.4 | 314K | 人工 🖊️ | ||
Test | 33.9 | 309K | 人工 🖊️ | ||
法国 | Spot6 1.5m | Train-weak | 23.3K | 204M | 高分辨率ALS |
Train-strong | 0.35 | 11.1K | 人工 🖊️ | ||
Test | 0.35 | 10.8K | 人工 🖊️ |
我们首先介绍TinyTrees数据集(第4.1节),并介绍我们的基线和度量标准(第4.2节)。然后详细说明定量结果和分析(第4.3节),接着是消融研究(第4.4节)。
4.1 TinyTrees数据集
我们引入TinyTrees,这是第一个用于卫星影像树木计数的大规模数据集。该数据集跨越三大洲和三个卫星传感器,地面采样距离(GSD)从0.8米到4.2米不等。总计覆盖超过23,000 km²,包含超过2.15亿个树木标注。表2提供了概述。
感兴趣区域。
TinyTrees覆盖三个地理和生态上不同的区域。
中国。 覆盖温带森林的极高分辨率高分二号影像(0.8米GSD)。人工标注由专家通过照片解译生成,并辅以更高分辨率的参考影像。使用中等密度ALS训练的有监督回归得到的树冠高度图可用(约2 pts/m²)。
卢旺达。 覆盖异质热带景观的PlanetScope影像(3–4米GSD)。人工标注由专家通过照片解译创建。从航空影像导出的大规模树冠预测可用。
法国。 覆盖温带森林的SPOT-6影像(1.5米GSD,从6米全色锐化)。我们可以获取高密度LiDAR-HD ALS数据(≥20 pts/m²)以导出树冠高度图[IGN],并且法国国家林业局提供的15米半径样地上的森林清查数据可用。
标注类型。
每个区域包含两种形式的监督:强和弱。强标注通过人工照片解译或实地测量获得,提供高精度但地理覆盖有限。
弱标注是大规模自动导出的,但固有地含有噪声,尤其是在树木分离不完美的密林冠层中。它们从专用的树冠高度模型或大规模树冠预测流程中获得。对于法国,弱标签使用全自动峰值检测程序从ALS导出的树冠高度图生成[Gominski等人,2025]。在卢旺达,弱标签来源于半自动的国家级树冠分割产品[Mugabowindekwe等人,2023]。对于中国划分,我们从树冠高度图导出伪密度目标:高于3米阈值的冠层像素被赋予从强标注子集估算的平均树木密度。
数据集划分。
所有图像以标称卫星分辨率提取为64×64的RGB+NIR图块。每个区域被划分为三个子集:
Train-weak: 具有自动标注的大面积地理区域,
Train-strong: 具有人工标注的较小区域,
Test: 仅含人工标注的保留区域。
为防止空间泄漏,训练和测试区域之间设置了1公里的缓冲区。由于人工标注覆盖非正方形几何形状,一小部分(<10%)标注树木可能出现在重叠的图块中。
(a) 卫星影像
(b) 弱标签
(c) 预测结果
(d) 边际残差
图 3:边际残差示意图。 一幅卫星影像 (a) 配有弱标签 (b),经模型处理后生成密度预测图 (c)。最终的边际残差 (d) 突出了标注与预测之间的差异,揭示了潜在的漏检树木(红色)与伪标注(蓝色)。
(a)输入 RGB 影像
(b) 强标签
(c) TREEMATCH
(d) DM-Count
(e) 密度回归
(f) CenterNet
图 4:跨区域与传感器的定性结果。 每一行对应一个不同的数据集:中国(高分二号)、卢旺达(PlanetScope)和法国(SPOT6)。在法国划分中,真实标注仅在半径为 15 米的清查样方内可用。从左到右依次为:输入 RGB 影像 (a)、强手工标注 (b)、TREEMATCH 预测结果 (c)、DM-Count (d)、密度回归基线 (e) 和 CenterNet 检测器 (f)。TREEMATCH 在孤立树木和密集林区均能生成空间连贯的密度估计,而基线方法要么过度平滑密集区域,要么在杂乱区域漏检树木。
Train-weak(弱训练集):具有自动标注的大范围地理区域,
Train-strong(强训练集):具有手工标注的较小区域,
Test(测试集):仅包含手工标注的预留区域。
为防止空间信息泄露,训练区域与测试区域之间设有 1 公里缓冲区。由于手工标注覆盖非正方形区域,少量(<10%)的标注树木可能会出现在重叠的图像块中。
4.2 基线和度量标准
基线和对比方法。
遵循森林分析中的常见做法,所有模型都使用带有ResNet50编码器[He等人,2016]的UNet架构[Ronneberger等人,2015]。我们选择此设计是因为其稳定性和易于训练,并在消融研究中评估其他主干网络。我们评估以下训练策略:
密度回归(Density Regression)。 使用固定宽度的高斯核将树木标注转换为密度图,并使用 ℓ2ℓ2 损失训练模型[Wan和Chan,2019;Shi等人,2019;Ranjan等人,2018]。
计数回归(Count Regression)。 对UNet的单通道输出应用全局求和池化,直接回归每张图像的总树木数量。
检测(Detection)。 我们评估基于框和基于点的检测器,包括YOLOv8 [Jocher等人,2023]、P2P [Song等人,2021]、TreeFormer [Amirkolaee等人,2023]和CenterNet [Zhou等人,2019]。
分布匹配(Distribution Matching)。 我们评估VRSNet [Luo等人,2024b]和DM-Count [Wang等人,2020],一种基于平衡最优输运的人群计数方法。
贝叶斯方法(Bayesian Approach)。 我们评估一种为人群计数设计的贝叶斯方法[Ma等人,2019]。此外,我们重新实现了一个不确定性感知的密集回归基线[Lang等人,2023],其中模型预测每个像素密度的均值和方差。
评估指标。
我们使用以下指标评估计数准确性:
RMSE。 图像级别的树木计数均方根误差,单位为每公顷树木数。
nMAE。 数据集级别的归一化平均绝对误差。
R²。 预测计数与真实计数之间的决定系数,在图像级别计算。
4.3 结果与分析
表3:TinyTrees上的定量评估。 我们比较了回归基线(顶部)、基于检测的视觉模型(中部)和分布匹配方法(底部)。我们指出了最佳配置训练期间使用的监督类型:强人工标注和/或弱ALS衍生标签。TreeMatch持续优于竞争方法。- 表示未收敛,n/a表示官方实现与部分标注不兼容。
方法 | 强 | 弱 | 中国 / 高分二号 | 卢旺达 / PlanetScope | 法国 / Spot6 | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
RMSE ↓ | R² ↑ | nMAE ↓ | RMSE ↓ | R² ↑ | nMAE ↓ | RMSE ↓ | R² ↑ | nMAE ↓ | |||
密度回归 | ✓ | 64.6 | 0.55 | 37.4 | 79.3 | 0.36 | 54.0 | 163.4 | 0.20 | 40.2 | |
计数回归 | ✓ | 67.9 | 0.50 | 43.7 | 75.8 | 0.42 | 53.8 | 149.2 | 0.33 | 39.1 | |
不确定性感知回归 | ✓ | 63.3 | 0.57 | 37.9 | 80.5 | 0.34 | 55.3 | 163.0 | 0.20 | 40.6 | |
YOLOv8 [Jocher等人,2023] | ✓ | - | - | - | 448.7 | -0.50 | 85.0 | n/a | n/a | n/a | |
CenterNet [Zhou等人,2019] | ✓ | 82.9 | 0.26 | 51.8 | 98.9 | 0.01 | 69.8 | 181.5 | 0.01 | 45.6 | |
P2P [Song等人,2021] | ✓ | 98.7 | -0.05 | 60.4 | - | - | - | 177.2 | 0.06 | 45.6 | |
TreeFormer [Amirkolaee等人,2023] | ✓ | 68.7 | 0.49 | 41.2 | 86.0 | 0.25 | 59.8 | 179.7 | 0.03 | 45.1 | |
贝叶斯人群计数 [Ma等人,2019] | ✓ | 168.8 | -2.06 | 134.1 | 80.5 | 0.34 | 60.9 | 162.0 | 0.21 | 43.7 | |
VRSNet [Luo等人,2024a] | ✓ | ✓ | 67.5 | 0.51 | 41.2 | 81.7 | 0.32 | 56.9 | 165.1 | 0.18 | 40.3 |
DM-Count [Wang等人,2020] | ✓ | ✓ | 65.0 | 0.55 | 39.6 | 76.8 | 0.40 | 53.4 | 158.0 | 0.25 | 40.9 |
TreeMatch (ours) | ✓ | ✓ | 60.6 | 0.60 | 36.6 | 72.4 | 0.47 | 51.1 | 147.2 | 0.35 | 37.4 |
我们在第4.3节中报告了所有方法在所有划分上的性能。总体而言,该任务被证明具有挑战性,所有模型和区域的R²值都保持在0.6以下。这与相关任务(如人群计数)形成对比,后者实例级指标可以达到更高的准确性。在所有数据集和评估指标上,TreeMatch都取得了最佳的整体性能。在RMSE、R²和归一化MAE方面的改进是一致的,表明其在不同大陆、生物群落和成像条件下具有鲁棒性。定性结果如图3所示。
性能分析。
我们有以下观察:
回归基线。 简单的回归方法提供了出奇强大的基线。特别是,图像级别的计数回归表现具有竞争力,突显了全局计数监督的重要性。密度回归也表现良好,尽管其最优高斯标准差为4像素导致输出模糊(见图2(k))。然而,这些方法不太适合异质的标注质量。特别是,加入弱监督会降低密度回归的性能。
基于检测的方法。 像YOLOv8和CenterNet这样的检测模型在此场景中表现不佳。它们尤其在密林区域(树冠边界模糊,单个树冠不易分离)表现挣扎(见图2(k))。在几种情况下,这些模型要么无法收敛,要么产生不稳定的预测,这证实了经典实例检测不适合在异质森林场景下进行基于卫星的树木计数。
分布匹配方法。 DM-Count [Wang等人,2020] 表现相对较好,证实了基于输运的表述在计数任务中的相关性。然而,它依赖平衡OT和全变差(TV)损失导致激活过于自信(见图2(k)),并限制了在部分或含噪标注下的鲁棒性。我们的非平衡表述更平滑但泛化能力更好,在所有数据集上持续优于DM-Count。
效率。
我们的模型在推理时计算效率高,仅需一次前向传播。它每秒处理约9900万像素,对应于PlanetScope影像约887 km²/s。训练也快速且稳定:在单张NVIDIA 3090 GPU上,单个数据划分的完整训练运行在一小时内完成。这些特性表明该方法适用于大规模部署。
空间泛化。
在之前的实验中,我们为每个区域-传感器对训练了一个模型。一个重要问题是,单个模型是否能跨生物群落和卫星平台泛化。第4.3节报告了跨区域评估结果,以及联合训练的全局模型的性能。我们观察到,某些区域比其他区域更容易学习。特别是,在中国划分上训练的模型取得了最佳的整体性能。这很可能归因于高分影像更高的空间分辨率和照片解译强标签的质量。相比之下,在卢旺达划分上训练的模型泛化能力较差,可能是由于其热带生物群落的特殊性及其传感器的校准。
虽然在所有划分上联合训练的模型在其训练划分上的表现略逊于专用模型,但它仍然取得了强劲的整体结果。这表明跨区域泛化是可行的,并且可以通过利用传感器无关架构[Xiong等人,2024;Astruc等人,2025]和更大、更多样化的训练数据集来进一步改进。
表4:跨区域空间泛化。 每一行对应一个在特定区域(或所有区域联合)训练的模型,每一列报告在目标区域上的性能(nMAE)。
训练 ↓ / 评估 → | 中国 | 卢旺达 | 法国 | 总体 |
|---|---|---|---|---|
中国 | 36.6 | 99.9 | 76.9 | 84.8 |
卢旺达 | 1066 | 51.1 | 180 | 287 |
法国 | 154 | 99.9 | 37.4 | 111 |
联合训练 | 42.4 | 51.7 | 42.9 | 49.3 |
4.4 消融研究与展望
我们进行了一项消融研究,以量化我们框架中每个组成部分的贡献。结果报告在表4.4中。
a) 监督来源的作用。 移除弱监督、ALS或模型衍生的监督(无Train-weak)使RMSE从72.4增加到76.1,表明大规模噪声标签提供了有价值的补充训练信号。移除强监督、人工监督(无Train-strong)导致更大的性能下降,RMSE增加到82.4,证实了准确计数对于校准模型的重要性。在卢旺达划分上,均匀采样略微提高了性能(RMSE为71.0),尽管由于强/弱比率不同,这种影响在其他划分上并不一致。
b) 损失表述。 仅使用计数监督训练(仅 LcountLcount)使RMSE增加到75.5,突显了空间分布匹配的重要性。用平衡OT替换非平衡OT进一步降低了性能(RMSE为78.3),证实了明确容忍质量不匹配在弱监督下至关重要。移除残差校正(无残差)使RMSE增加到79.0,证明了我们的校正机制对于含噪标注的益处。
c) 主干网络选择。 使用ViT-S主干网络的性能与基线几乎相同(RMSE为72.5),表明对适度容量降低的敏感性有限。分层Swin-S主干网络略微提高了性能(RMSE为71.0),这与先前的研究发现一致,即分层编码器非常适合森林影像分析[Fogel等人,2025]。
标注类型的影响。
对于中国划分,由于可用树冠高度数据的分辨率较低,弱监督以连续的森林覆盖图(具有恒定密度)而非逐点标注的形式提供。为了比较,我们使用为法国采用的局部峰值检测程序推导了逐点弱标注。这种替代方案导致性能略有下降(nMAE = 39.6对比36.6)。这些结果表明,我们的模型可以同时适应逐点和连续的弱标签,并且将标注形式调整为相应的模态可以提高性能。
局限性与展望。
最优输运损失相对于像素数量 N=H×WN=H×W 具有二次方内存复杂度 O(N2)O(N2),这限制了扩展到具有更广泛空间上下文的更大图像。基于Sinkhorn的实现通过高效计算缓解了部分问题,但通过更内存高效的最优输运算法[Sun等人,2024]可以进一步改进。
树木计数和树冠高度估算是密切相关的问题,表明联合建模具有巨大潜力。树木数量制约着林分密度,而高度图捕捉森林的垂直结构。这些信号通过已建立的生态关系相互关联,例如树木高度与体积之间的异速生长尺度关系[Jucker等人,2017],以及将林分体积与密度联系起来的自我稀疏动态[Yoda等人,1963]。因此,结合高度和密度估计可以产生更一致的森林结构和生物量估算。大规模树冠高度产品[Fogel等人,2025;Liu等人,2023;Pauls等人,2024]的日益普及使得这种联合建模在大陆尺度上越来越可行。
表5:消融研究。 监督策略(a)、损失表述(b)和主干网络架构(c)对性能的影响。所有结果均在卢旺达划分上报告。
配置 | RMSE ↓ | R² ↑ | nMAE ↓ |
|---|---|---|---|
基线 (TreeMatch) | 72.4 | 0.47 | 51.1 |
a) 无 Train-weak | 76.1 | 0.41 | 52.3 |
无 Train-strong | 82.4 | 0.32 | 59.4 |
均匀采样 | 71.0 | 0.49 | 50.7 |
b) 仅 ℒ_count | 75.5 | 0.42 | 53.0 |
平衡OT | 78.3 | 0.38 | 54.6 |
无残差 | 79.0 | 0.36 | 53.7 |
c) ViT-S | 72.5 | 0.47 | 51.2 |
Swin-S | 71.0 | 0.49 | 50.0 |
5 结论
在这项工作中,我们解决了在存在内在模糊性和异质监督的情况下,从卫星影像中计数单棵树木的问题。我们提出了一种基于非平衡最优输运的方法,该方法能够自然地适应定位模糊性、不确定的总计数以及不同质量的标注。在我们提出的TinyTrees基准(跨越三大洲和卫星传感器)上的实验表明,相较于基于检测、基于回归和基于分布匹配的基线方法,我们的方法取得了持续改进。这些结果表明,非平衡最优输运为在现实标注约束下,从卫星影像进行大规模树木计数提供了一个原则性且灵活的框架。
