逻辑回归：原理、训练与场景

逻辑回归（Logistic Regression）全解析

逻辑回归是机器学习中经典的二分类算法（名字带“回归”却做“分类”），核心是把线性回归的输出映射到0~1区间，用“概率”判断样本所属类别，比如判断邮件是否为垃圾、用户是否会下单、病人是否患病。

一、从生活场景理解核心思想：为什么需要逻辑回归？

我们以“预测学生是否及格”为例（特征：学习时长x，标签：及格=1/不及格=0），先看线性回归的问题，再理解逻辑回归的解决思路：

1. 线性回归的“硬伤”

线性回归公式：y ^ = w ⋅ x + b \hat{y} = w \cdot x + by^​=w⋅x+b，输出是任意实数（比如1.2、-0.3）。但我们需要的是“及格概率”（0~1），总不能说“及格概率1.2”，这显然不合理；且线性回归对异常值敏感（比如1小时学习却及格的极端样本，会拽歪预测直线）。

2. 逻辑回归的“关键妙招”：Sigmoid函数（概率压缩器）

为了把线性回归的输出（记为z = w ⋅ x + b z=w\cdot x + bz=w⋅x+b）变成0~1的概率，逻辑回归引入Sigmoid函数（也叫Logistic函数）：
σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1​

这个函数的特点像“概率调节阀”：

• z zz很大（如z = 10 z=10z=10）→σ ( z ) ≈ 1 \sigma(z)≈1σ(z)≈1（及格概率接近100%）；
• z zz很小（如z = − 10 z=-10z=−10）→σ ( z ) ≈ 0 \sigma(z)≈0σ(z)≈0（及格概率接近0%）；
• z = 0 z=0z=0→σ ( z ) = 0.5 \sigma(z)=0.5