线性回归：从数学原理到Python实战，掌握机器学习基石

1. 从“预测”说起：线性回归的朴素直觉

我们每天都在做预测。比如，早上出门前看一眼天色，预测今天会不会下雨，从而决定要不要带伞。这个决策过程，本质上就是一个基于经验的“回归”过程：我们的大脑根据过往的经验（阴天大概率下雨），将当前观察到的“特征”（天空的云量、湿度）与“结果”（下雨）关联起来，然后对新的“特征”输入（今天的天气）给出一个“结果”预测（带伞）。

在机器学习和数据分析的世界里，线性回归（Linear Regression）就是把这个朴素直觉数学化、精确化的一个最基础、最核心的工具。它试图找到一组特征（比如房屋面积、卧室数量、地段）与一个连续数值目标（比如房价）之间最佳的线性关系。说它“基础”，是因为它的思想是后续无数复杂模型的基石；说它“核心”，是因为在工业界，它依然是解决预测问题、分析变量关系时，被最先考虑和最高频使用的模型之一。

很多人觉得线性回归太简单，不屑于深究，直接调个sklearn的LinearRegression就完事了。但在我看来，这恰恰错过了理解机器学习精髓的最佳入口。线性回归里藏着模型评估、优化、假设检验、特征工程等一系列关键概念的雏形。你不真正搞懂它，后面学到的很多“高级”东西，都像是空中楼阁。这篇文章，我就结合自己这些年从学术研究到工业落地的经验，掰开揉碎了跟你聊聊线性回归的里里外外。我们不止要会“用”，更要明白它“为什么”能工作，以及在什么情况下会“失灵”。

2. 线性回归的数学骨架：不止一条直线那么简单

提到线性回归，你脑子里可能立刻浮现出一条穿过一堆散点的直线。这个图像没错，但它只是二维空间（一个特征X，一个目标y）下的特例。线性回归的“线性”，指的是对模型参数是线性的，而不是对特征必须是线性的。这是第一个容易混淆的点。

2.1 模型的通用形式与矩阵表达

假设我们有m个样本，每个样本有n个特征。线性回归模型试图学习一组参数（或称权重）θ₀, θ₁, θ₂, ..., θₙ，使得预测值ŷ尽可能接近真实值y。其模型方程如下：

ŷ = θ₀ + θ₁X₁ + θ₂X₂ + ... + θₙXₙ

这里，θ₀是截距项（Bias），θ₁到θₙ是各个特征的系数。为了公式上的统一，我们通常会引入一个恒为1的虚拟特征X₀，这样模型可以简洁地写成向量点积的形式：

ŷ = θᵀX，其中θ = [θ₀, θ₁, ..., θₙ]ᵀ，X = [1, X₁, X₂, ..., Xₙ]ᵀ。

当我们有m个样本时，用矩阵表示会异常清晰和强大。将所有样本的特征堆叠成设计矩阵X（维度m × (n+1)，第一列全为1），参数向量为θ（维度(n+1) × 1），预测值向量为ŷ（维度m × 1），真实值向量为y（维度m × 1）。那么整个模型的预测过程就是一次矩阵乘法：

ŷ = Xθ

这个形式的美妙之处在于，它将复杂的预测问题转化为了纯粹的线性代数运算，为后续的求解和理论分析打开了大门。

2.2 目标函数：最小二乘法的由来

模型给出了预测的方法，但参数θ还不知道。我们如何找到最优的θ？核心思想是让预测值ŷ和真实值y之间的“差距”最小。这个差距，通常用误差（或称残差）ε = y - ŷ来衡量。

最自然且最常用的方法就是最小二乘法（Ordinary Least Squares, OLS）。它的目标是最小化所有样本误差的平方和（Sum of Squared Errors, SSE）。为什么是平方和而不是绝对值和？这背后有深刻的数学和统计原因：

1. 数学处理友好：平方函数处处可导，便于使用基于梯度的方法进行优化。而绝对值函数在零点不可导，优化起来更麻烦。
2. 最大似然估计：在假设误差服从均值为0、方差恒定的正态分布时，最小化SSE等价于对模型参数进行最大似然估计。这为模型提供了坚实的概率论解释。
3. 对大误差的惩罚更重：平方放大了较大误差的影响，使得模型对异常值（Outliers）更为敏感。这是一把双刃剑，我们后面会讨论。

因此，我们的目标函数（损失函数）定义为：J(θ) = 1/2m * Σ(ŷ⁽ⁱ⁾ - y⁽ⁱ⁾)² = 1/2m * (Xθ - y)ᵀ(Xθ - y)这里乘以1/2m主要是为了后续求导时形式更整洁，m是样本数，求平均使得损失值与样本规模无关。

2.3 参数求解：解析解与数值解

如何最小化J(θ)？有两种主流途径。

第一种是解析解（闭式解）。通过对J(θ)关于θ求导，并令导数为零向量，我们可以直接得到最优参数的公式：θ* = (XᵀX)⁻¹ Xᵀy这个公式非常漂亮，一步到位。但它有两个很强的前提条件：

1. XᵀX必须是可逆的（满秩）。这意味着特征之间不能存在严格的线性相关（即多重共线性）。在实际中，即使可逆，如果某些特征高度相关，XᵀX的条件数会很大，求逆会变得数值不稳定，解对数据中的微小扰动极其敏感。
2. 当特征维度n很高（例如上万）时，计算一个n×n矩阵的逆在计算上是非常昂贵甚至不可行的，时间复杂度约为O(n³)。

第二种是数值解（迭代优化），主要是梯度下降法及其变种。其核心思想是：初始化一组参数θ，然后沿着损失函数J(θ)下降最快的方向（负梯度方向）不断更新θ，直到收敛。 参数更新公式为：θ := θ - α * ∇J(θ)，其中α是学习率，∇J(θ)是梯度。 对于线性回归，梯度有非常简洁的形式：∇J(θ) = 1/m * Xᵀ(Xθ - y)。

梯度下降的优势在于：

• 可扩展性：即使n很大，每次迭代的计算成本O(mn)也是可接受的，尤其适合与随机梯度下降（SGD）结合处理海量数据（m很大）。
• 通用性：它是非线性模型（如神经网络）优化的基石。从线性回归的梯度下降学起，是通向深度学习的重要阶梯。

实操心得：对于中小规模、特征维度不高且条件数良好的数据集，直接使用解析解是快速且精确的。但在生产环境中，面对高维或大数据，梯度下降（尤其是SGD或小批量梯度下降）是更实际的选择。使用解析解时，务必检查矩阵的条件数，并考虑使用正则化（如岭回归）来改善数值稳定性。

3. 从公式到代码：三种实现方式深度剖析

理解了原理，我们来看看如何用代码实现。我会用Python展示三种不同层次的实现，从“造轮子”到“用轮子”，你会对线性回归有更立体的认识。

3.1 基础实现：纯NumPy手撕解析解与梯度下降

首先，我们完全不借助机器学习库，只用NumPy实现。

import numpy as np class LinearRegressionFromScratch: def __init__(self, method='ols', learning_rate=0.01, n_iters=1000): """ 初始化线性回归模型。 :param method: 求解方法，'ols'为解析解，'gd'为梯度下降。 :param learning_rate: 学习率（仅梯度下降有效）。 :param n_iters: 梯度下降迭代次数。 """ self.method = method self.lr = learning_rate self.n_iters = n_iters self.weights = None # 参数θ（包含截距） self.bias = None # 截距项，这里为了清晰单独列出，实际已包含在weights中 def _add_intercept(self, X): """为特征矩阵X添加一列全1的截距项。""" intercept = np.ones((X.shape[0], 1)) return np.hstack((intercept, X)) def fit(self, X, y): # 添加截距项 X_b = self._add_intercept(X) if self.method == 'ols': # 解析解：θ = (X^T X)^(-1) X^T y # 使用np.linalg.pinv求伪逆，比inv更稳定，能处理非满秩情况 self.weights = np.linalg.pinv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) elif self.method == 'gd': # 梯度下降法 m, n = X_b.shape self.weights = np.random.randn(n) # 随机初始化参数 for _ in range(self.n_iters): # 计算预测值 y_pred = X_b.dot(self.weights) # 计算梯度 (1/m) * X^T (Xθ - y) gradient = (1 / m) * X_b.T.dot(y_pred - y) # 更新参数 self.weights -= self.lr * gradient else: raise ValueError("Method not supported. Use 'ols' or 'gd'.") # 将参数拆分为weights和bias，方便理解 self.bias = self.weights[0] self.coef_ = self.weights[1:] # 与sklearn命名保持一致 def predict(self, X): """预测新样本。""" X_b = self._add_intercept(X) return X_b.dot(self.weights)

代码解读与避坑点：

1. 添加截距项：这是一个关键步骤，容易被遗忘。我们通过_add_intercept函数在特征矩阵前加一列1，这样self.weights的第一个元素自然就是截距θ₀。
2. 解析解的稳定性：我们没有直接用np.linalg.inv，而是用了np.linalg.pinv（Moore-Penrose伪逆）。pinv在XᵀX奇异（不可逆）时仍然能给出一个解，数值上更鲁棒。这是生产代码中一个重要的细节。
3. 梯度下降的初始化与学习率：权重需要随机初始化。学习率lr是个超参数，太大可能导致震荡不收敛，太小则收敛缓慢。实践中常需要画学习曲线来调整。
4. 向量化操作：注意代码中大量使用了np.dot和矩阵运算，避免了低效的Python循环，这是NumPy编程的核心技巧。

3.2 进阶实现：使用Scikit-learn及其核心流程

在实际项目中，我们99%的时间会使用scikit-learn。它的实现高度优化，接口统一，且集成了模型评估、交叉验证等全套工具。

from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, r2_score import pandas as pd # 假设我们有一个DataFrame `data`，目标列是'price' # 1. 准备数据 X = data.drop('price', axis=1) y = data['price'] # 2. 划分训练集和测试集（非常重要！） X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 3. 特征标准化（对于梯度下降法或带正则化的模型至关重要） scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) # 拟合scaler并转换训练集 X_test_scaled = scaler.transform(X_test) # 用训练集的scaler转换测试集 # 4. 创建并训练模型 model = LinearRegression() model.fit(X_train_scaled, y_train) # 5. 查看模型参数 print(f"截距 (bias): {model.intercept_:.2f}") print("系数 (weights):") for feature, coef in zip(X.columns, model.coef_): print(f" {feature}: {coef:.4f}") # 6. 在测试集上评估 y_pred = model.predict(X_test_scaled) mse = mean_squared_error(y_test, y_pred) r2 = r2_score(y_test, y_pred) print(f"\n测试集评估:") print(f" 均方误差 (MSE): {mse:.2f}") print(f" 决定系数 (R²): {r2:.4f}")

关键操作解析：

1. 训练集/测试集划分：这是评估模型泛化能力的金标准。绝对不能用训练数据来评估模型性能，那会导致极其乐观的过拟合估计。random_state参数用于确保每次划分结果一致，便于复现。
2. 特征标准化：将每个特征缩放到均值为0、标准差为1。这对于基于距离或梯度的算法（如线性回归的梯度下降求解、岭回归等）非常重要，可以加速收敛，并避免某些特征因量纲大而主导模型。切记：scaler只能从训练集拟合（fit），然后同时用于转换训练集和测试集（transform）。用测试集的信息来拟合scaler是严重的数据泄露。
3. 模型评估：MSE是损失函数本身，值越小越好，但其数值大小依赖于目标变量的量纲。R²（决定系数）是一个0到1之间的无量纲指标，越接近1表示模型对目标变量的解释能力越强。它是更通用的评估指标。

3.3 生产级考量：稀疏解与大规模数据

当特征维度极高（例如文本处理中的词袋模型，特征数可能上万甚至百万），且许多特征为0时，数据是稀疏的。此时，使用解析解或标准的梯度下降效率低下。

from sklearn.linear_model import SGDRegressor # 使用随机梯度下降回归器，特别适合大规模数据 # penalty='l2' 表示L2正则化（岭回归），alpha是正则化强度 # max_iter是迭代次数，tol是停止阈值 sgd_model = SGDRegressor(penalty='l2', alpha=0.0001, max_iter=1000, tol=1e-3, random_state=42) sgd_model.fit(X_train_scaled, y_train) # 对于极端稀疏场景，可以考虑使用LIBLINEAR或Vowpal Wabbit等库，它们对稀疏矩阵支持更好。

SGDRegressor每次迭代只用一个或一小批样本计算梯度，内存消耗小，且可以online learning。penalty参数引入了正则化，是应对过拟合和多重共线性的利器，我们接下来就详细讨论它。

4. 线性回归的“暗面”：假设、陷阱与正则化

线性回归并非万能。如果数据不满足其基本假设，模型的解释力和预测力会大打折扣，甚至得出错误结论。

4.1 线性回归的五大基本假设

1. 线性关系：因变量与自变量之间存在线性关系。这是模型形式的基础。
2. 独立性：样本之间相互独立。时间序列数据或空间数据常违背此假设。
3. 同方差性：误差项的方差在所有自变量的取值范围内应保持恒定。如果方差随自变量增大而增大（漏斗形残差图），则存在异方差性。
4. 误差正态性：误差项应服从均值为0的正态分布。这对于小样本下参数估计的显著性检验（t检验，F检验）尤为重要。
5. 无多重共线性：自变量之间不应存在高度线性相关。这会导致参数估计值方差增大，变得不稳定，难以解释单个变量的影响。

4.2 常见问题与诊断

• 异方差性：观察预测值-残差图。若散点呈漏斗形、扇形等非随机分布，则存在异方差。这会影响参数估计的有效性。解决方法包括对因变量进行变换（如取对数）、使用加权最小二乘法（WLS）或鲁棒回归。
• 多重共线性：计算方差膨胀因子（VIF）。通常VIF > 10（或更严格的 > 5）认为存在严重共线性。这会导致系数符号与预期相反、标准误巨大。解决方法包括：剔除高度相关的特征之一、使用主成分回归（PCR）或岭回归等正则化方法、收集更多数据。
• 非线性：观察预测值-实际值图或残差图。如果呈现明显的曲线模式，说明存在非线性。解决方法包括添加特征的高次项（多项式回归）、使用样条回归、或转换到非线性模型。
• 异常值：异常值会严重扭曲最小二乘法的结果（因为平方项放大了大误差的影响）。可以通过库克距离、杠杆值等统计量检测异常值。处理方法包括：检查数据是否正确、使用对异常值不敏感的损失函数（如Huber损失）的鲁棒回归。

4.3 正则化：应对过拟合与共线性的利器

当特征很多或存在共线性时，模型容易过拟合（在训练集上表现很好，在测试集上表现差）。正则化通过在损失函数中增加一个对参数大小的惩罚项，来约束模型复杂度。

岭回归（Ridge Regression, L2正则化）： 损失函数变为：J(θ) = MSE(θ) + α * ½ * Σθᵢ²(i从1到n，通常不惩罚截距θ₀)α是控制惩罚力度的超参数。L2惩罚倾向于让所有参数都变小，且分布更均匀，能有效缓解多重共线性，提高模型稳定性。

套索回归（Lasso Regression, L1正则化）： 损失函数变为：J(θ) = MSE(θ) + α * Σ|θᵢ|L1惩罚倾向于让一部分不重要的特征的系数直接变为0，从而实现特征选择。这对于高维数据且我们相信只有少数特征起作用时非常有用。

弹性网络（Elastic Net）：结合了L1和L2惩罚，综合了两者的优点。

from sklearn.linear_model import Ridge, Lasso, ElasticNet from sklearn.model_selection import GridSearchCV # 以岭回归为例，使用网格搜索寻找最佳alpha ridge = Ridge() parameters = {'alpha': [0.001, 0.01, 0.1, 1, 10, 100]} grid_search = GridSearchCV(ridge, parameters, scoring='neg_mean_squared_error', cv=5) grid_search.fit(X_train_scaled, y_train) print(f"最佳参数: {grid_search.best_params_}") print(f"最佳交叉验证分数: {-grid_search.best_score_:.2f}") best_ridge = grid_search.best_estimator_ # 查看系数，可以发现相比普通线性回归，系数被“压缩”了 print(best_ridge.coef_)

实操心得：正则化强度α是一个关键超参数。太小，正则化作用微弱；太大，模型会被过度惩罚，导致欠拟合。一定要使用交叉验证（如GridSearchCV）在验证集上选择最优的α。对于特征选择场景，Lasso是首选，但要注意，如果特征高度相关，Lasso可能只随机选择其中一个。此时弹性网络是更好的选择。

5. 超越预测：线性回归在因果推断与解释性中的应用

线性回归不仅仅是一个预测黑箱。在经济学、社会科学、生物统计等领域，它的核心价值在于解释变量之间的关系，甚至尝试进行因果推断。但这需要极其谨慎。

5.1 系数解释：条件与陷阱

在线性回归中，系数θᵢ可以解释为：在其他所有特征保持不变的条件下，特征Xᵢ每增加一个单位，目标变量y平均变化θᵢ个单位。

这个解释听起来简单，却暗含玄机：

• “其他所有特征保持不变”是关键前提。在现实复杂系统中，这很难满足。例如，研究教育年限对收入的影响，即使控制了行业、工作经验，个人的能力、家庭背景等“遗漏变量”可能同时影响教育年限和收入，导致估计的系数有偏。
• 相关不等于因果。这是数据分析中最经典的警示。X和y相关，可能是X导致y，也可能是y导致X（反向因果），或者存在一个共同的变量Z同时导致X和y（混杂因素）。

5.2 统计显著性 vs. 实际显著性

通过模型的输出（如statsmodels库提供的详细报告），我们可以得到每个系数的p值，用于检验“该系数是否显著不为零”。但务必区分：

• 统计显著性：p值很小（如<0.05），说明在统计上我们有足够证据拒绝“该系数为0”的原假设。这可能是因为样本量很大，即使一个微小的效应也能被检测出来。
• 实际显著性：系数θᵢ的绝对值大小是否在业务场景中具有实际意义？一个统计显著但数值极小的系数，可能毫无业务价值。

5.3 使用statsmodels进行深入分析

scikit-learn侧重于预测，而statsmodels库提供了更丰富的统计推断工具。

import statsmodels.api as sm # 使用statsmodels的OLS（需手动添加截距项） X_sm = sm.add_constant(X_train_scaled) # 添加常数项 model_sm = sm.OLS(y_train, X_sm).fit() # 获取详细的回归报告 print(model_sm.summary())

这份报告会包含：

• 每个系数的估计值、标准误、t统计量、p值和置信区间。
• 模型整体的R²、调整后R²。
• F检验的p值，用于检验所有系数是否联合显著。
• Durbin-Watson统计量，用于检验残差的自相关性（对时间序列重要）。
• Jarque-Bera检验等，用于检验残差的正态性。

这些信息对于严谨的数据分析和模型诊断至关重要。

6. 实战案例：波士顿房价预测的完整流程

让我们用一个经典的案例串联所有知识点。我们使用sklearn内置的（已弃用但经典的）波士顿房价数据集。

import numpy as np import pandas as pd from sklearn.datasets import fetch_california_housing # 使用加州房价数据集替代波士顿数据集 from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV from sklearn.preprocessing import StandardScaler, PolynomialFeatures from sklearn.linear_model import LinearRegression, Ridge from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score from sklearn.pipeline import make_pipeline import matplotlib.pyplot as plt import seaborn as sns # 1. 加载数据 data = fetch_california_housing() X = pd.DataFrame(data.data, columns=data.feature_names) y = pd.Series(data.target, name='MedHouseVal') # 中位数房价 print(f"数据形状: {X.shape}") print(X.head()) # 2. 探索性数据分析 (EDA) # 查看目标变量分布 plt.figure(figsize=(12, 4)) plt.subplot(1, 2, 1) sns.histplot(y, kde=True) plt.title('目标变量（房价）分布') # 查看特征与目标的相关性 plt.subplot(1, 2, 2) corr_with_target = X.corrwith(y).sort_values(ascending=False) sns.barplot(x=corr_with_target.values, y=corr_with_target.index) plt.title('特征与房价的相关系数') plt.tight_layout() plt.show() # 3. 处理数据与特征工程 # 划分数据集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建预处理和建模管道 # 尝试加入多项式特征（交互项和平方项）来捕捉非线性 poly = PolynomialFeatures(degree=2, include_bias=False) # 不生成偏置列，因为线性回归自带 scaler = StandardScaler() model = Ridge(alpha=1.0) # 使用岭回归，默认设置一个alpha # 使用管道串联步骤 pipeline = make_pipeline(poly, scaler, model) # 4. 模型训练与调参 # 使用交叉验证评估 cv_scores = cross_val_score(pipeline, X_train, y_train, cv=5, scoring='neg_mean_squared_error') print(f"交叉验证MSE平均分: {-cv_scores.mean():.4f} (+/- {cv_scores.std()*2:.4f})") # 网格搜索寻找最佳正则化参数 param_grid = {'ridge__alpha': [0.01, 0.1, 1, 10, 100]} grid_search = GridSearchCV(pipeline, param_grid, cv=5, scoring='neg_mean_squared_error') grid_search.fit(X_train, y_train) print(f"最佳参数: {grid_search.best_params_}") # 5. 在测试集上评估最佳模型 best_model = grid_search.best_estimator_ y_pred = best_model.predict(X_test) mse = mean_squared_error(y_test, y_pred) mae = mean_absolute_error(y_test, y_pred) r2 = r2_score(y_test, y_pred) print(f"\n测试集性能:") print(f" 均方误差 (MSE): {mse:.4f}") print(f" 平均绝对误差 (MAE): {mae:.4f}") print(f" 决定系数 (R²): {r2:.4f}") # 6. 模型诊断：残差分析 residuals = y_test - y_pred plt.figure(figsize=(12, 4)) plt.subplot(1, 3, 1) sns.scatterplot(x=y_pred, y=residuals, alpha=0.5) plt.axhline(y=0, color='r', linestyle='--') plt.xlabel('预测值') plt.ylabel('残差') plt.title('残差 vs. 预测值图') plt.subplot(1, 3, 2) sns.histplot(residuals, kde=True) plt.title('残差分布') plt.subplot(1, 3, 3) import scipy.stats as stats stats.probplot(residuals, dist="norm", plot=plt) plt.title('Q-Q图') plt.tight_layout() plt.show() # 7. 特征重要性分析（对于线性模型，可以看标准化后的系数） # 获取管道中最后一步的模型（岭回归） final_model = best_model.named_steps['ridge'] # 获取管道中标准化器的参数，用于反标准化系数（近似） scaler_mean = best_model.named_steps['standardscaler'].mean_ scaler_scale = best_model.named_steps['standardscaler'].scale_ # 注意：由于前面有多项式特征生成，特征名已变复杂，此处仅作系数大小排序示意 # 在实际项目中，需要跟踪多项式特征对应的原始特征名 coef = final_model.coef_ # 按绝对值排序，取前10个最重要的特征（这里指多项式特征） top_idx = np.argsort(np.abs(coef))[-10:] print("\n最重要的10个特征系数（多项式特征）:") for idx in top_idx[::-1]: # 从大到小 print(f" 特征索引 {idx}: {coef[idx]:.4f}")

案例要点复盘：

1. EDA先行：通过直方图和相关性分析，快速了解数据分布和特征与目标的关系，为后续建模提供直觉。
2. 管道（Pipeline）：将特征工程（多项式生成）、预处理（标准化）和模型封装成一个整体对象。这能避免数据泄露，并使代码更简洁、可复用。
3. 交叉验证调参：使用GridSearchCV在训练集上寻找最优的alpha参数，并用交叉验证评估其稳定性，确保选择的参数不是偶然。
4. 多维度评估：不仅看MSE和R²，也看MAE。MAE对异常值不那么敏感，能提供另一个视角。
5. 残差分析是必须的：残差图应随机分布在0附近，无明显的模式（如曲线、漏斗形）。直方图和Q-Q图用于检验残差是否近似正态分布。如果严重违背，说明模型有改进空间。
6. 特征重要性：对于线性模型，系数的绝对值大小可以粗略衡量特征重要性。但要注意，在引入多项式特征和正则化后，解释会变得复杂。对于追求解释性的场景，可能需要更简单的模型。

线性回归是一个“麻雀虽小，五脏俱全”的模型。它看似简单，却串联起了机器学习工作流的几乎每一个环节：数据探索、预处理、模型定义、损失函数、优化算法、评估诊断、正则化、超参数调优。把它吃透，你就为学习更复杂的模型打下了最坚实的基础。在实际业务中，它往往是第一个被尝试的基线模型，一个表现良好的线性模型，因其可解释性和稳定性，常常比一个难以捉摸的复杂黑箱模型更有价值。