YOLOv5核心激活函数进化论：ReLU与SiLU的深度性能博弈与优化实战

摘要

在目标检测领域，YOLOv5作为经典算法框架，其内部激活函数的选择直接影响模型的特征表达能力与收敛效率。本文聚焦于YOLOv5中两种关键激活函数——ReLU与SiLU，从数学原理、梯度特性、计算复杂度等维度展开系统性对比。通过设计对照实验，在COCO、VOC、VisDrone等数据集上验证不同激活函数对YOLOv5检测精度、训练速度及鲁棒性的影响。实验结果表明，SiLU在深层网络中展现出更优的梯度流特性，能够提升mAP 1.5%-3.2%，而ReLU在计算资源受限场景下仍具实用价值。本文提供了完整的代码实现与数据集预处理方案，为YOLOv5的激活函数选型与优化提供工程化参考。

关键词：YOLOv5；激活函数；ReLU；SiLU；目标检测；性能优化

第一章 引言

1.1 研究背景

卷积神经网络（CNN）中，激活函数作为非线性变换的核心组件，决定了特征映射的表达维度。YOLOv5作为工业界广泛部署的一阶段检测器，其网络结构包含Backbone（CSPDarknet）、Neck（PANet）与Head三个模块，每一层卷积后均需配备激活函数以引入非线性。自YOLOv5问世以来，其激活函数经历了从LeakyReLU到SiLU（Swish）的演进，这一变化背后蕴含了对梯度消失、计算效率与表示能力的深度权衡。

ReLU（Rectified Linear Unit）凭借其稀疏激活特性与无指数运算的优势，长期占据CNN激活函数的主导地位。然而，ReLU在负半轴的零梯度特性可能导致“神经元死亡”现象，限制模型在复杂分布下的学习能力。SiLU（Sigmoid Linear Unit，亦称Swish）作为自动搜索发现的激活函数，保留了