逻辑回归简介

一、逻辑回归简介

逻辑回归（Logistic Regression）是一种广泛应用于分类问题的统计学习方法，尤其擅长处理二分类问题。尽管名字中带有"回归"，但它实际上是一种分类算法。逻辑回归通过Sigmoid函数将线性回归的输出映射到(0,1)区间，从而得到样本属于某一类别的概率。

二、逻辑回归的原理

1. Sigmoid函数

逻辑回归的核心是Sigmoid函数（也称为逻辑函数）：
P ( y = 1 ∣ x ) = 1 1 + e − z P(y=1|x) = \frac{1}{1 + e^{-z}}P(y=1∣x)=1+e−z1​
其中z是输入特征的线性组合：z = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n z = w₀ + w₁x₁ + w₂x₂ + ... + wₙxₙz=w0​+w1​x1​+w2​x2​+...+wn​xn​

2. 决策边界

当P ( y = 1 ∣ x ) ≥ 0.5 P(y=1|x) ≥ 0.5P(y=1∣x)≥0.5时，模型预测为正类；当P ( y = 1 ∣ x ) < 0.5 P(y=1|x) < 0.5P(y=1∣x)<0.5时，预测为负类。0.5这个阈值形成了决策边界。

3. 损失函数

逻辑回归使用交叉熵损失函数（对数损失函数），通过最大似然估计或梯度下降等优化方法寻找最优参数。

三、逻辑回归的优势与局限

优势：

• 计算效率高，训练和预测速度快
• 输出具有概率意义，可解释性强
• 对线性可分或近似线性可分的数据表现良好
• 不容易过拟合，尤其适合高维数据

局限：

• 对非线性决策边界的数据效果有限
• 对多重共线性敏感
• 需要较大的样本量来保证参数估计的稳定性

四、示例：银行数据训练

1. 数据准备与探索

fromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScalerimportpandasaspdimportmatplotlib.pyplotaspltfrompylabimportmplfromsklearn.linear_modelimportLogisticRegressionfromsklearnimportmetrics# 读取数据并进行预处理data=pd.read_csv(r"creditcard.csv")scaler=StandardScaler()data["Amount"]=scaler.fit_transform(data[["Amount"]])data=data.drop(["Time"],axis=1)# 设置中文字体支持mpl.rcParams["font.sans-serif"]=["Microsoft YaHei"]mpl.rcParams["axes.unicode_minus"]=False# 查看正负例样本分布labels_count=pd.value_counts(data["Class"])print(labels_count)# 可视化样本分布plt.title("正负例样本数")plt.xlabel("类别")plt.ylabel("频数")labels_count.plot(kind='bar')plt.show()

2. 特征选择与数据划分

# 选择特征列column_names=['V1','V2','V3','V4','V5','V6','V7','V8','V9','V10','V11','V12','V13','V14','V15','V16','V17','V18','V19','V20','V21','V22','V23','V24','V25','V26','V27','V28','Amount']x_whole=data[column_names]y_whole=data[["Class"]]# 划分训练集和测试集（这里使用30%作为训练集）x_train_w,x_test_w,y_train_w,y_test_w=train_test_split(x_whole,y_whole,train_size=0.3,random_state=1000)

3. 模型训练与评估

# 创建并训练逻辑回归模型# C参数是正则化强度的倒数，较小的C值表示更强的正则化lr=LogisticRegression(C=0.01)lr.fit(x_train_w,y_train_w)# 在测试集上进行预测test_predicted=lr.predict(x_test_w)result=lr.score(x_test_w,y_test_w)# 输出详细的分类报告print(metrics.classification_report(y_test_w,test_predicted))

图中包含以下关键指标：

• 精确率（Precision）：预测为正例的样本中实际为正例的比例
• 召回率（Recall）：实际为正例的样本中被正确预测的比例
• F1-score：精确率和召回率的调和平均数
• 准确率（Accuracy）：所有样本中被正确分类的比例