神经网络与卷积神经网络（CNN）

1️⃣ 神经网络概念

• 神经网络 = 一系列“黑盒计算模块”堆起来的函数
• 输入 → 中间层 → 输出
• 每一层学习规律（特征）
• 类比：做菜
  • 食材 = 输入数据
  • 每道加工步骤 = 每层计算
  • 成品 = 输出结果

2️⃣ 卷积（Convolution / Conv）

• 专门处理图像的操作
• 类比滤镜：滑过图片计算加权和 → 输出特征图（feature map）
• 输出通道数 = 卷积核数量
• 卷积核作用：
  • 提取边缘、纹理、颜色变化
  • 每个输出通道对应一个卷积核提取的特征

3️⃣ 激活函数（Activation Function）

• 作用：非线性映射，让网络可以表示复杂关系
• 常见激活函数：
  • ReLU：负值变 0，正值保留
  • Sigmoid：输出 0~1
  • Tanh：输出 -1~1
• 卷积 + 激活：
  1. 卷积提取特征
  2. 激活非线性处理 → 输出特征图（activation）
  3. 作为下一层输入

4️⃣ 特征图流动

• 每层卷积 + 激活 → 输出特征图
• 特征图一层层往下 → 层与层串行依赖
• 每层内部计算可以并行（GPU/NPU 加速）

5️⃣ 卷积核与通道数

• 每层卷积核数量 = 输出通道数
• 每个卷积核都接收上一层所有通道 → 加权求和 → 输出一个通道
• 上层通道数不一定等于下层通道数
  • 浅层 → 通道少
  • 深层 → 通道多
  • 特殊阶段 → 可以压缩（bottleneck）

6️⃣ 神经网络训练

1. 前向传播（Forward Pass）

• 输入 → 每层卷积 + 激活 → 输出预测
• 权重不变，只计算输出

2. 计算损失（Loss）

• 预测 vs 标签 → 误差
• 分类、检测等有不同损失函数

3. 反向传播（Backward Pass）

• 计算每个卷积核对损失的梯度
• 更新权重：

weight_new = weight_old - learning_rate * gradient

• 激活函数影响梯度大小

4. 训练 vs 推理

7️⃣ 网络设计选择

• 影响因素：
  • 任务复杂度
  • 数据量和输入尺寸
  • 硬件能力与实时性
  • 实验验证
• 常用经验：
  • 浅层少通道 → 提取低级特征
  • 深层多通道 → 提取高级特征
  • 车端 / 嵌入式 → 层少通道少 → 快速推理

8️⃣ 开源项目参考

• 例如 YOLO 系列：
  • YOLOv3：固定 backbone + head → 53 层卷积 + 残差
  • YOLOv3-tiny / YOLOv8n → 轻量化网络适合车端
• 优势：
  • 网络结构经过大量实验验证
  • 可直接拿来训练或部署

💡 这篇笔记总结了神经网络基础、卷积、激活、通道、训练