即插即用系列(代码实践) | WACV 2024 CSAM:面向各向异性医学图像分割的 2.5D 跨切片注意力模块
论文题目:CSAM: A 2.5D Cross-Slice Attention Module for Anisotropic Volumetric Medical Image Segmentation
中文题目:CSAM:用于各向异性体素医学图像分割的2.5D跨切片注意力模块
论文出处:WACV 2024 (加州大学洛杉矶分校 UCLA 等)
论文原文 (Paper):https://openaccess.thecvf.com/content/WACV2024/html/Hung_CSAM_A_2.5D_Cross-Slice_Attention_Module_for_Anisotropic_Volumetric_Medical_WACV_2024_paper.html
代码 (code):https://github.com/aL3x-O-o-Hung/CSAM
目录
- 第一部分:模块原理与实战分析
- 1. 论文背景与解决的痛点
- 2. 核心模块原理揭秘
- 3. 架构图解
- 4. 适用场景与魔改建议
- 第二部分:核心完整代码
- 第三部分:结果验证与总结
摘要:
本文提取自 WACV 2024 顶会论文《CSAM: A 2.5D Cross-Slice Attention Module for Anisotropic Volumetric Medical Image Segmentation》。在临床 MRI 或 CT 数据中,我们常常面临严重的**各向异性(Anisotropic)**问题:即切片内的分辨率(In-plane)很高,但切片间(Through-plane / Z轴)的间距极大且信息模糊。直接用 3D CNN 会导致特征提取严重失真,而纯 2D CNN 又会彻底丢失层间连续性。本文复现了该网络的核心解法——CSAM(跨切片注意力模块)。该模块巧妙结合了 2D 卷积的轻量性,并通过引入切片维度(Slice)的注意力与不确定性建模(Uncertainty Modeling),在参数量几乎不增加的情况下,完美捕获了跨切片的体素级上下文。它是魔改 2.5D 分割网络的终极利器。
第一部分:模块原理与实战分析
1. 论文背景与解决的痛点
做过医疗影像(尤其是前列腺 MRI、心脏 MRI)的算法工程师都知道,真实的医学数据往往是“扁长”的:
- 3D 卷积的灾难:标准的 3D U-Net 默认 X, Y, Z 三个维度的物理间距是相近的。当面对 Z 轴切片厚度是 X/Y 轴像素间距 5 倍甚至 10 倍的数据时,3D 卷积核会强行融合非相邻的物理结构,导致极其严重的过拟合与性能崩塌。
- 2D 卷
