高光谱拼接算法（一）扫推式成像和航带拼接算法

. 扫推式成像 （Push broom Imaging）#

在之前的 光谱融合中提到过，现有技术很难一次获取兼顾高光谱分辨率和高空间分辨率的图像。
概括来说可以理解为相机里的二维传感器难以完整采集三维数据，用来存储光谱信息就要丢失空间信息，反之亦然。

因此，为了获取兼顾二者的图像，便衍生了多种成像方式，其中，扫推式成像是目前在空间分辨率、光谱分辨率与采集效率之间最均衡、最主流的一种方案。
其逻辑很简单：

一次只拍“一条线”，但这条线里的每个像素，都带有完整光谱信息,最后随着设备不断前进，把一条条“光谱线”拼成完整三维数据立方体。

（图片来源）

此外，在前沿领域，也在研究快照式成像：一种尝试利用压缩和编码技术，从根本解决高光谱图像获取问题的研究方向。

2.航带拼接获取高光谱图像#

上面提到的，扫推式成像需要设备不断移动，早期搭载高光谱设备的是卫星或者科研飞机。但现在最常见的是无人机，因为它大幅降低了高光谱门槛，得益于其成本低，更灵活，这也是多数相关企业的选择。

此外，还有传送平台，显微扫描平台等很多选择，其关键就是产生相对运行实现“扫推”。

以无人机为例，只飞一次，扫描得到一条数据，我们就称之为单航带数据。
这种数据前后一致性好、无需拼接、几何误差小，但覆盖范围有限。

因此，当目标区域很大，整片农田、整座城市时，我们就会让一台无人机平行来回飞，或者多台无人机并行扫描不同区域。

现在，每一次扫描结束，都会得到一组单航带数据，我们把多个航带拼起来，就可以获得兼具光谱分辨率和空间分辨率的图像。

（图片来源）

但这种拼接不是直接让矩阵连接在一起那么简单，这其中涉及大量细节。

3. 拼接中的对齐问题#

首先，在获取多航带数据过程中，航带之间通常不会完全贴边，而是会故意保留一定重叠区域，用于后续的配准、校正与拼接。

而理想情况下，最终得到的高光谱图像应描述的是：

同一时间、同一观测条件下的一片连续区域。

但由于扫推式成像依赖平台运动逐线采集，不同航带往往是在不同时间、不同姿态、不同光照条件下获得的，因此在拼接过程中需要解决多个层面的对齐问题。

3.1 几何对齐（Geometric Alignment）#

由于飞行高度、平台姿态、速度变化以及 GPS / IMU 误差的存在，不同航带之间可能出现平移、旋转、拉伸、透视形变等几何失配问题。

（图片来源）

3.2 辐射对齐（Radiometric Alignment）#

不同航带往往并非在完全一致的观测条件下采集，比如第一条航带在上午 10 点采集，第二条采集完已经 10:20 了。
这就会导致太阳高度角变化、云层遮挡、大气条件变化、曝光参数变化等等情况，导致同一目标在不同航带中的整体亮度存在差异。

因此，即使空间位置已经对齐，拼接后仍可能出现明显亮暗接缝。

（图片来源）

3.3 光谱对齐（Spectral Alignment）#

相比普通图像，高光谱数据更重要的是每个像素对应的完整光谱曲线。

但由于传感器响应漂移、观测角变化或跨航带成像条件差异，不同航带中同一目标的光谱曲线可能发生波段偏移、光谱形状变化、反射峰位置漂移等问题。
这会进一步影响后续的地物分类、光谱匹配等下游任务。

因此，高光谱拼接不仅要求空间连续，还要求跨航带光谱保持物理一致性。

（图片来源）

4. 高光谱拼接算法（Hyperspectral Image Stitching/Mosaicking）#

最终，高光谱拼接的结果直接影响整个高光谱立方体是否可信。
很多后续高光谱算法， 默认都假设输入数据已经是“空间连续且光谱一致”的。
而这个前提，正是拼接算法负责建立的，其目标正是：

为后续分类、检测、反演等下游任务，构建空间连续、辐射统一、光谱一致的高质量高光谱数据立方体。

我们下载的很多公开数据集，包括 Indian Pines、Pavia University、Salinas 等都已经进行了这些甚至更复杂的处理。

而由于其任务属性，专门用于拼接算法的公开数据集较少，而且十分碎片化，可以说基本没有统一的 benchmark，但其涉及的领域、相关方法和模型又十分丰富。
因此，可以说是一个说不上人满为患，但又绝对不算小众的研究方向，其实难点在于数据获取本身以及“拼接没有标准答案”的问题上。