斜率
这是最直观的几何概念。
-
定义：一条直线的倾斜程度与方向。
-
公式：对于直线
y = kx + b，斜率k = Δy / Δx(纵坐标变化量 / 横坐标变化量)。 -
关键：斜率是一个常数，直线上每一点都相同。
-
几何意义：坡度越大，直线越陡
导数
导数是斜率概念的推广和精髓，用于研究曲线。
-
定义：函数在某一点的瞬时变化率，也就是该点切线的斜率。
-
理解：将曲线无限放大，在极其微小的一段上，它会看起来像一条直线。这条“假想的”直线的斜率，就是该点的导数。
-
记法：对于函数
y = f(x)，在点x0的导数记为f'(x0)或dy/dx|_{x=x0}。 -
核心思想：局部线性化 —— 用切线这条直线来近似表示曲线在该点附近的行为。
梯度
梯度是导数概念从单变量函数到多变量函数的自然延伸。
-
定义：一个向量，其每个分量是函数在某一点对各自变量的偏导数。
-
记法：对于函数
L(w, b)（如损失函数），其梯度记为∇L或grad L。 -
计算公式：
∇L(w, b) = [∂L/∂w, ∂L/∂b] -
最关键的性质：梯度向量的方向，是函数在该点上升最快的方向；梯度的模长（长度），表示函数在这个方向上升的速率。