3D卷积和2D卷积区分-高光谱图像为例

现有一张高光谱HSI图像：

• 宽度：145 个像素
• 高度：145 个像素
• 波段：30 个

每个像素都有 30 个光谱值 → 可以理解成 像素的“光谱指纹”
所以高光谱图像就是 一个 3D 堆叠：空间 × 空间 × 光谱。

2D卷积在HSI上的操作

2D卷积就像普通的图像卷积，把所有光谱当作通道：

• 输入：145 × 145 × 30
• 卷积核：3 × 3 × 30 → 只在空间上滑动
• 输出：提取每个像素附近的空间模式，但光谱之间的关系没直接处理

2D卷积只在 空间维度 (Height × Width) 上滑动。
输入通道数（Depth / spectral bands） 是卷积核的“深度”，卷积核会覆盖全部通道。

举例：

Patch size: 7×7×30 → 卷积核 3×3×30 ✅
Patch size: 7×7×10 → 卷积核 3×3×10 ✅
Patch size: 7×7×50 → 卷积核 3×3×50 ✅

• 核心：2D卷积核的深度必须等于输入的通道数。
  空间滑动的是 Height × Width，卷积核沿深度一次性处理所有通道。

3D卷积在HSI上的操作

3D卷积同时处理空间和光谱：

• 卷积核：3 × 3 × 7（空间 × 空谱）
• 滑动方式：不仅在空间滑动，还会在光谱方向滑动
• 输出：能同时捕捉空间模式和光谱模式

3D卷积在 Height × Width × Depth 都滑动。
卷积核在光谱（Depth）方向也有大小，可以选择 小于、等于或大于 patch depth 的值。

举例：

Patch size: 7×7×30 → 3D卷积核可以是 3×3×3, 3×3×5, 3×3×10 等 ✅
Patch size: 7×7×10 → 3D卷积核可以是 3×3×3, 3×3×5, 3×3×7 等 ✅

• 核心：3D卷积能捕获 光谱-空间联合特征，不仅仅在空间上滑动，还可以在光谱方向上滑动提取局部光谱模式。
• 3D 卷积核在 spectral 维度可以自由选择，不必等于 patch depth，这是它的优势。

对比

参数量与计算量对比

假设：
输入 patch：

7×7×30（降维后30个光谱波段）

输出通道：

Cout=16

卷积核尺寸：

2D卷积：

3×3

3D卷积：

3×3×7（光谱方向卷积深度7）

参数量计算：

2D卷积（光谱作为通道）：

参数量=3⋅3⋅30⋅16=4320

3D卷积：

参数量=3⋅3⋅7⋅1⋅16=1008

⚠️ 注意：3D卷积每次只处理部分光谱（卷积深度），所以参数少，但是卷积次数更多，计算量实际上可能比2D大，因为要在光谱方向滑动多次。

卷积计算次数（乘加运算量FLOPs）

以输出空间大小为5×5为例

2D卷积:

FLOPs≈5⋅5⋅3⋅3⋅30⋅16=108,000

3D卷积（卷积深度7，滑动30波段 →30−7+1=24 次）:

FLOPs≈5⋅5⋅3⋅3⋅7⋅16⋅24=226,800

✅ 结论：3D卷积虽然每个核参数少，但计算量更大，因为光谱方向要滑动。