什么是逻辑回归，它与线性回归有什么关系？

概念

逻辑回归（Logistic Regression）是一种用于解决分类问题的统计方法，尤其适用于二分类问题。尽管名称中有“回归”，但它主要用于分类任务，千万别被它的名字混淆咯~

逻辑回归和线性回归有什么关系？

逻辑回归是通过非线性链接函数（Sigmoid函数）将线性回归的输出映射到[0,1]区间，解释为概率，扩展到二分类问题的结果。

常用的映射函数是sigmoid函数

为什么逻辑回归要使用sigmoid作为映射函数？

• 逻辑回归的核心是对 “对数几率”（log odds）建模。几率（odds）是事件发生的概率与不发生的概率之比，公式如下图第一行这意味着逻辑回归本质是用线性模型拟合对数几率，而 sigmoid 函数正是实现 “从对数几率到概率”的逆映射工具，这种数学上的一致性是其他函数（如 tanh）不具备的。
• 逻辑回归通过极大似然估计求解参数，需要计算损失函数对参数的导数（用于梯度下降等优化算法），Sigmoid 函数的导数具有自引用特性，这一特性会显著简化交叉熵损失函数的求导过程，避免复杂的链式法则计算，使模型参数的优化更高效、稳定。
• 逻辑回归的本质是预测 “事件发生的概率”（如 “用户点击的概率”“患病的概率”），而概率的取值范围必须在 [0, 1] 之间，而Sigmoid 的输出天然具备 “概率” 的物理意义。

逻辑回归能否解决非线性分类问题？

标准的逻辑回归无法直接解决非线性分类问题，但通过引入特征工程和 kernel方法，可以间接处理非线性问题。

方法一：特征工程（最常用、最实用）

通过创建新的非线性特征，将数据映射到更高维的空间，使其在这个新空间中线性可分。

方法二：核方法（Kernel）

核方法的核心是直接计算两个原始向量在高维空间映射后的内积，而无需显式地进行映射，从而简化计算。但逻辑回归本身不直接支持核方法，需结合其他技巧（如使用随机傅里叶特征近似核函数）。核心思路与支持向量机（SVM）中的核技巧一样，通过将原始特征映射到高维空间，使原本非线性可分的数据在高维空间中线性可分，再用逻辑回归进行分类。这种方法称为 “核逻辑回归”。若需核方法，建议直接使用核SVM模型。

逻辑回归如何进行多类别分类任务？

逻辑回归通常用于二分类问题，但可以通过一对多（One-vs-Rest，OvR）以及Softmax回归（Multinomial Logistic Regression，多项逻辑回归）来扩展到多分类任务。

• 一对多（OVR）

若有C个类别，则训练C个二分类逻辑回归分类器，每个分类器将一个类别作为正例、所有其他类别作为反例。预测时，计算C个分类器的输出概率，选取概率最高的类别作为结果。

• Softmax回归（多项逻辑回归）

直接扩展逻辑回归到多类别场景，使用Softmax函数代替 Sigmoid 函数作为激活函数将模型输出转化概率分布，确保所有类别的概率之和为1。预测时用1个模型计算所有类别的概率，选择最大值。

所以在神经网络中设计输出层时，二分类接 Sigmoid，多分类接 Softmax，这句话就是金科玉律