计算机视觉中的天气分类：风格特征与多任务学习实践
1. 项目概述与核心挑战
在计算机视觉的天气分类任务中，我们面临着几个关键挑战：首先是严重的类别不平衡问题——比如"挡风玻璃上的水/雪"这类样本在数据集中可能只占1%，而"晴天"样本占比超过60%。其次是实时性要求，特别是在嵌入式设备（如车载系统）上运行时，模型需要在30fps的帧率下稳定工作。最后是多任务学习的复杂性，当同时预测12种天气属性（如天气类型、能见度、地面状况等）时，不同任务间的特征耦合会导致模型优化困难。
针对这些问题，我们设计了一套完整的解决方案。核心思路是将风格特征（Style Features）作为桥梁，建立图像外观与天气条件之间的关联。就像人类通过观察云层纹理、光线散射等视觉特征判断天气一样，我们的模型通过Gram矩阵捕捉这些风格特征，再结合注意力机制动态聚焦关键区域。这种方法的优势在于：
- 风格特征对内容变化相对鲁棒，更适合跨场景泛化
- 局部Gram矩阵能保留空间结构信息，避免全局平均带来的细节丢失
- 模块化设计允许灵活增减任务头，适应不同硬件资源限制
2. 类别不平衡的优化策略
2.1 损失函数选型与调参
在处理类别不平衡时，我们对比了两种主流方案：
加权交叉熵(Weighted CrossEntropy)
class WeightedCE(nn.Module): def __init__(self, weights): super().__init__() self.weights = torch.tensor(weights) def forward(self, logits, targets): ce = F.cross_entropy(logits, targets, reduction='none') weights = self.weights[targets].to(logits.device) return (ce * weights).mean()权重计算采用逆类别频率的平方根进行平滑，避免极端权重值： $$ w_c = \frac{1}{\sqrt{N_c + \epsilon}} $$
Focal Loss
class FocalLoss(nn.Module): def __init__(self, gamma=2.0): super().__init__() self.gamma = gamma def forward(self, logits, targets): ce = F.cross_entropy(logits, targets, reduction='none') pt = torch.exp(-ce) return ((1 - pt)**self.gamma * ce).mean()2.2 进化搜索优化超参数
我们设计了一个混合搜索空间来联合优化模型结构和损失参数：
search_space = { 'backbone_truncate': ['layer2', 'layer3', 'layer4'], # ResNet截断位置 'patch_size': [8, 16, 32], # PatchGAN粒度 'gram_width': [32, 64], # 局部Gram矩阵宽度 'loss_type': ['weighted_ce', 'focal'], 'gamma': (0.5, 3.0), # Focal Loss参数范围 'head_depth': [1, 2, 3] # 任务头深度 }进化算法相比网格搜索的优势在于：
- 支持离散/连续/布尔型混合参数
- 通过变异、交叉操作探索非凸空间
- 可引入领域知识约束（如GPU内存限制）
实际测试发现：对于极端不平衡任务（如Road Spray），Focal Loss（γ=1.8）比加权交叉熵提升约3%的F1；而对于相对平衡的任务（如天气类型），两者性能相当。
3. 模型架构设计
3.1 双路径风格特征提取
ResNet路径(RTM)
- 使用MoCo-v3预训练的ResNet-50（截断到layer3）
- 中间特征图尺寸：56×56×512
- 全局Gram矩阵计算： $$ G_{ij} = \frac{1}{HWC}\sum_{h,w} F_{hwi}F_{hwj} $$
PatchGAN路径(PMG)
- 局部感受野16×16
- 局部Gram矩阵在8×8网格上计算
- 加入空间注意力：
class LocalAttention(nn.Module): def __init__(self, in_channels): super().__init__() self.query = nn.Conv2d(in_channels, in_channels//8, 1) self.key = nn.Conv2d(in_channels, in_channels//8, 1) self.value = nn.Conv2d(in_channels, in_channels, 1) def forward(self, x): B, C, H, W = x.shape q = self.query(x).view(B, -1, H*W) k = self.key(x).view(B, -1, H*W) v = self.value(x).view(B, -1, H*W) attn = torch.softmax(q.transpose(1,2) @ k / math.sqrt(C), dim=-1) return (attn @ v.transpose(1,2)).transpose(1,2).view(B,C,H,W)
3.2 多任务头设计
每个任务包含：
- 独立的注意力模块（计算该任务相关区域）
- 2层MLP分类器
- 动态权重（根据验证集性能自动调整）
训练时采用交替更新策略：
- 奇数迭代：更新共享编码器
- 偶数迭代：更新任务特定头
4. 嵌入式部署优化
4.1 树莓派5性能分析
硬件配置：
- Broadcom BCM2712 CPU (4×Cortex-A76 @2.4GHz)
- VideoCore VII GPU
- LPDDR4X-4267内存
优化手段：
# 启用NEON指令集 export ARM_NEON_ENABLE=1 # 设置GPU频率 sudo echo "gpu_freq=600" >> /boot/config.txt # 调整CPU调度策略 sudo cpufreq-set -g performance4.2 实时推理流水线
class InferencePipeline: def __init__(self, model): self.queue = Queue(maxsize=3) self.model = model self.preprocess = Compose([ Resize(960, 540), Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) def capture_thread(self): while True: frame = camera.read() self.queue.put(self.preprocess(frame)) def infer_thread(self): while True: inputs = self.queue.get() with torch.no_grad(): outputs = self.model(inputs) visualize(outputs)实测性能（720p输入）：
| 模型 | 参数量 | FPS | 内存占用 |
|---|---|---|---|
| PMG | 2.4M | 25.1 | 380MB |
| RTM(全任务) | 24M | 18.4 | 1.2GB |
| RTM(4任务) | 24M | 24.7 | 620MB |
5. 实验分析与实战技巧
5.1 数据增强策略
针对天气数据特有的挑战，我们采用：
- 物理模拟增强：
- 使用[albumentations]库模拟雨雪效果
def add_rain(image): transform = A.Compose([ A.RandomRain( slant_lower=-10, slant_upper=10, drop_length=20, blur_value=3, p=1.0 ) ]) return transform(image=image)['image'] - 风格迁移增强：
- 用AdaIN将晴天图像转换为雾天风格
- 时序一致性：
- 对视频连续帧应用相同的变换
5.2 模型解释性分析
通过Grad-CAM可视化发现：
- 注意力机制有效聚焦于语义相关区域（如"天空状况"任务集中在云层区域）
- 局部Gram路径对细小结构（如雨滴）更敏感
- 截断ResNet路径对全局光照变化更鲁棒
不同模型在"能见度"任务上的注意力分布对比
5.3 部署常见问题排查
问题1：推理速度不达标
- 检查是否启用GPU加速：
vcgencmd get_config arm_freq - 降低输入分辨率到960×540可获得40%速度提升
- 禁用不必要任务头：每个头增加约0.8ms延迟
问题2：内存溢出
- 使用
dmesg | grep oom确认OOM事件 - 解决方案：
torch.backends.quantized.engine = 'qnnpack' # 启用动态量化 model = torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtype=torch.qint8 )
问题3：类别预测偏移
- 校准温度缩放：
T = 1.5 # 在验证集上优化得到 logits = logits / T
6. 扩展应用与未来方向
当前框架可轻松扩展到以下场景：
- 道路状况监测：通过添加"路面湿滑程度"任务头
- 能见度估计：回归任务与分类任务联合训练
- 极端天气预警：在PMG路径上增加异常检测模块
未来优化方向：
- 自监督风格特征学习：减少对人工标注的依赖
- 神经架构搜索：自动寻找最优的模块组合
- 多模态融合：结合毫米波雷达等传感器数据
在实际部署中发现：对于清晨逆光场景，添加"眩光检测"辅助任务可使天气分类准确率提升12%。这印证了多任务学习在复杂环境下的优势。
所有代码和预训练模型已在GitHub开源，包含详细的部署教程和Demo视频。对于想快速上手的开发者，我们提供了Docker镜像，可在树莓派上通过一条命令启动演示：
docker run -it --privileged weather-classifier:latest