即插即用系列（代码实践）| CVPR 2025 EfficientViM：基于“隐状态混合SSD”与“多阶段融合”的轻量级视觉 Mamba 新标杆

论文题目：Efficient Vision Mamba with Hidden State Mixer based State Space Duality

中文题目：基于隐藏状态混合器SSD的高效视觉Mamba
应用任务：轻量级主干网络、移动端部署、实时语义分割/检测

摘要：
本文提取自2024/2025年最新论文《Efficient Vision Mamba with Hidden State Mixer based State Space Duality》。针对Mamba-2 (State Space Duality, SSD)虽然引入了矩阵乘法加速，但在移动端部署时，其输入投影层（Linear Projections）占据了大量计算瓶颈的痛点，复现了其核心组件——EfficientViM中的HSM-SSD模块。该模块创新性地提出在**压缩的隐藏状态（Hidden State）**中进行通道混合，而非在庞大的输入序列上操作，从而大幅降低了 FLOPs 和内存访问成本，是目前移动端视觉 Mamba 的 SOTA 方案。

第一部分：模块原理与实战分析

1. 论文背景与解决的痛点

Mamba 和 Mamba-2 (SSD) 在视觉任务中大放异彩，利用线性复杂度解决了 Transformer 处理高分辨率图像慢的问题。但是，当我们想把 Mamba 搬到手机或边缘设备（Resource-constrained environments）上时，会发现一个尴尬的现象：

• 投影层瓶颈：Mamba-2 的 SSD 算法虽然核心计算快，但它在处理输入序列时，需要对每个 Token 做 的线性投影。对于长序列（高分辨率图），这个 的矩阵乘法成为了新的速度瓶颈（Memory-bound）。
• 计算冗余：标准的 SSD 在全序列长度上进行通道混合（Channel Mixing），这在很多轻量级场景下是没必要的“杀鸡用牛刀”。

痛点总结：我们需要一种能够在保持 Mamba 全局感受野的同时，把**计算量（FLOPs）和显存访问（IO）**降到最低的轻量化算子。

2. 核心模块原理揭秘

EfficientViM 提出了HSM-SSD (Hidden State Mixer based SSD)模块。我已将其封装为 PyTorch 类，其核心“降维打击”逻辑如下：

• 隐藏状态混合 (Hidden State Mixer)