4、机器学习中的逻辑回归与前馈神经网络

机器学习中的逻辑回归与前馈神经网络

1. 梯度下降与学习率

在机器学习中，梯度下降算法的性能与学习率密切相关。当学习率非常小（如 0.001）时，梯度下降算法在寻找最小值时速度极慢；而当学习率较大（如 0.1）时，算法工作速度会更快。这种关系可以通过绘制相关图形直观地展现，它能帮助我们了解学习过程的速度和效果。在一些情况下，例如应用 dropout 正则化时，代价函数可能不再平滑，这会给梯度下降算法的应用带来挑战。

2. 逻辑回归示例

逻辑回归是一种经典的分类算法，这里我们考虑二元分类问题，即识别两类，将其标记为 0 或 1。为了实现这个目标，我们需要与线性回归不同的激活函数、不同的代价函数，并且对神经元的输出做一些微调。

• 激活函数：我们希望神经元输出输入属于类别 1 的概率 $P(y = 1|x)$，因此需要一个取值范围在 0 到 1 之间的激活函数。对于逻辑回归，我们使用 sigmoid 函数：
  [s(z) = \frac{1}{1 + e^{-z}}]

• 代价函数：我们使用交叉熵作为代价函数。对于单个观测，代价函数为：
  [L(\hat{y}^{(i)}, y^{(i)}) = - y^{(i)} \log(\hat{y}^{(i)}) - (1 - y^{(i)}) \log(1 - \hat{y}^{(i)}) ]
  当有多个观测时，代价函数是所有观测的总和：
  [J(w, b) = \frac{1}{m} \sum_{i = 1}^{m} L(\hat{y}^{(i)},