2025神经网络与深度学习第一周总结

深度学习入门：线性回归与分类模型解析

一、线性回归：从数据拟合到参数求解*

线性回归是通过回归分析确定变量间定量关系的统计方法。以房屋销售数据为例，假设房价与面积呈线性关系，可构建模型y = kx + b，其中x为面积（特征），y为房价（标签）。

模型扩展：

若房价与面积x_1、年限x_2等n个特征相关，则推广为多维线性函数：

其中为参数向量，为增广特征向量。

代价函数与解析解：

构造均方误差代价函数：

通过最小化求解参数，对求导并令导数为零，可得解析解：

其中为特征矩阵，为标签向量。

二、线性分类：从感知机到Softmax

（一）二分类问题与Logistic回归

线性分类器通过特征线性组合实现分类，假设样本可通过超平面划分。

以苹果分类为例，特征为直径和外观评分，分类函数为：

为将输出映射到概率（0-1区间），引入Sigmoid函数：

其导数性质为，便于后续梯度计算。

代价函数与梯度下降：

采用对数似然损失函数（交叉熵损失）：

由于为非线性函数，需通过梯度下降法迭代优化参数：

其中梯度为：。

（二）多分类问题与Softmax回归

对于K类分类问题，引入Softmax函数将线性输出转换为概率分布：

代价函数为多分类交叉熵：

梯度更新公式为：

。

三、神经元模型与感知机

（一）人工神经元：M-P模型

人工神经元模拟生物神经元结构，输入通过权重加权求和，经阈值函数输出：

典型激活函数包括阶跃函数（如符号函数）和Sigmoid函数。例如，符号函数定义为：

。

（二）感知机：线性分类的迭代求解

感知机是最早的神经网络模型之一，用于解决线性可分问题。

其模型为：

损失函数定义为误分类点到超平面的距离之和：

其中 M 为误分类样本集。

通过迭代更新权重纠正误分类：

（为学习率，为误分类样本的修正项）。

1. 核心问题：XOR问题

- 线性不可分问题（如XOR逻辑）

无法用单层感知机解决，需引入多层结构。

- XOR输入输出关系：

，，，。

2. 解决方案：多层感知机结构

- 在输入层与输出层间增加隐层（如三层网络：输入层+隐层+输出层），通过隐层节点实现非线性变换。

- 数学表达式（单隐层示例）：

- 隐层节点输出：

- 输出层节点输出：

- 激活函数为阶跃函数（阈值≥0时输出1，否则0）。

3. 能力定理

- 定理1：含阈值节点的三层网络可实现任意二值逻辑函数。

- 定理2：含S型激活函数的三层网络可逼近紧集上的连续函数或平方可积函数。

二、BP算法（反向传播算法）

1. 算法定位

- 多层前馈网络的有监督学习算法，基于梯度下降法优化网络参数（权值和阈值）。

2. 核心流程

- 正向传播：输入信号经隐层传递至输出层，计算实际输出与期望输出的误差。

- 反向传播：将误差沿原路径反向传播，通过梯度下降调整各层参数，减小误差。

3. 应用场景

- 适用于多分类、回归问题，需已知输入/输出样本（导师信号）。

三、数据集与程序示例

1. Fashion-MNIST数据集

- 替代MNIST的图像数据集，含10类、7万张28×28灰度图，训练集/测试集划分60000/10000。

- 可直接用于测试机器学习算法，无需修改代码。

2. 程序参考

- 示例代码：使用PyTorch加载Fashion-MNIST数据集，实现多层感知机（参考D2L 4.2节）。

四、关键结论

- 多层感知机通过隐层解决线性不可分问题，BP算法提供参数优化方法，二者结合构成BP神经网络。

- 三层网络具备较强普适性，更多隐层可处理更复杂模式，但需权衡计算成本。