Day 3 学习记录
一、今日学习目标
由于今日状态不佳，重点攻克两个核心概念：
- 向量的距离（欧式距离）
- 梯度与梯度下降
二、向量的距离（欧式距离）
本质
两个向量之间的直线距离
基本公式
设两个向量 \(\boldsymbol{a}, \boldsymbol{b}\)：
\[d(\boldsymbol{a}, \boldsymbol{b}) = \sqrt{\sum_{i=1}^{n}(a_i - b_i)^2}
\]
等价形式
- 列向量形式（线性代数常用）
\[d(\boldsymbol{a}, \boldsymbol{b}) = \sqrt{(\boldsymbol{a} - \boldsymbol{b})^T (\boldsymbol{a} - \boldsymbol{b})}
\]
- 行向量形式（代码中常见）
\[d(\boldsymbol{a}, \boldsymbol{b}) = \sqrt{(\boldsymbol{a} - \boldsymbol{b})(\boldsymbol{a} - \boldsymbol{b})^T}
\]
- 范数形式（论文常用）
\[d(\boldsymbol{a}, \boldsymbol{b}) = | \boldsymbol{a} - \boldsymbol{b} |_2
\]
本质：欧式距离等于向量差的 L2 范数
与损失函数的关系（MSE）
\[MSE = \frac{1}{2m} \sum_{i=1}^m (y_{pred}^{(i)} - y_{true}^{(i)})^2
= \frac{1}{2m} | \boldsymbol{y_{pred}} - \boldsymbol{y_{true}} |_2^2
\]
三、梯度与梯度下降
- 梯度（Gradient）
定义
对于函数：
\[f(\boldsymbol{x}) = f(x_1, x_2, ..., x_n)
\]
其中：
\[\boldsymbol{x} =
\begin{pmatrix}
x_1 \
x_2 \
\vdots \
x_n
\end{pmatrix}
\]
梯度定义为：
\[\nabla f(\boldsymbol{x}) =
\begin{pmatrix}
\frac{\partial f}{\partial x_1} \
\frac{\partial f}{\partial x_2} \
\vdots \
\frac{\partial f}{\partial x_n}
\end{pmatrix}
\]
意义
- 几何意义：函数增长最快的方向
- 物理意义：最大变化率方向
- 机器学习意义：参数对损失的影响程度
作用
- 指明优化方向（下降最快方向）
- 衡量参数重要性
- 连接模型与优化
- 解决高维优化问题
应用
- 线性回归、逻辑回归
- 神经网络反向传播
- 优化器（SGD、Adam、RMSprop）
- 梯度下降（Gradient Descent）
定义
梯度下降是一种基于一阶导数的迭代优化算法，其核心逻辑是：沿目标函数在当前点的梯度反方向，以一定步长更新参数，使函数值逐步减小。
迭代公式
单变量：
\[x_{t+1} = x_t - \eta f'(x_t)
\]
多变量：
\[\boldsymbol{x}_{t+1} = \boldsymbol{x}_t - \eta \nabla f(\boldsymbol{x}_t)
\]
机器学习中的形式（线性回归）
\[\boldsymbol{W}_{t+1} = \boldsymbol{W}_t - \eta \cdot \frac{1}{m} \boldsymbol{X}^T (\boldsymbol{X}\boldsymbol{W}_t + b_t - \boldsymbol{y})
\]
\[b_{t+1} = b_t - \eta \cdot \frac{1}{m} \sum_{i=1}^m (\boldsymbol{x}^{(i)}\boldsymbol{W}_t + b_t - y^{(i)})
\]
收敛条件
满足以下任一条件时停止迭代：
-
梯度的模长趋近于 0：
\[|\nabla f(\boldsymbol{x}_t)| < \epsilon \] -
目标函数变化量很小：
\[|f(\boldsymbol{x}_{t+1}) - f(\boldsymbol{x}_t)| < \epsilon \] -
达到预设最大迭代次数
核心理解
- 本质：一种逐步逼近最优解的搜索策略
- 学习率：控制收敛速度与稳定性
- 过程：不断从高损失区域向低损失区域移动
作用
- 机器学习模型训练的核心方法
- 构建完整训练流程
- 支撑深度学习模型
- 降低优化问题复杂度
总结
今天主要学习了两个核心内容：
- 欧式距离：用于衡量数据之间的差异
- 梯度下降：用于优化模型参数
这两部分共同构成了机器学习中的基础数学框架。