当前位置：首页 > news >正文

SVM支持向量机：从最大间隔原理到Scikit-learn实战应用

news 2026/7/30 5:23:15

1. 项目概述：从“分界线”到“最强分类器”

如果你刚开始接触机器学习，面对五花八门的算法可能会感到无从下手。逻辑回归直观，决策树易懂，但一提到SVM（支持向量机），很多人就觉得它“理论复杂”、“公式吓人”。几年前我刚入门时也有同感，直到在一个图像分类的项目里，当逻辑回归和决策树的效果都卡在某个瓶颈上不去时，我抱着试试看的心态调用了Scikit-learn里的SVM，结果准确率直接提升了近8个百分点。那一刻我才明白，SVM这个被称作“最强分类器”之一的算法，其核心思想其实非常直观和优美，它解决的问题正是我们做分类时最本质的诉求：如何找到那条最好的“分界线”。

简单来说，SVM就是一种用于分类（和回归）的监督学习算法。它的目标不是简单地找到一个能分开两类数据的超平面（在二维里就是一条直线），而是要找到那个间隔最大的超平面。想象一下，你要在操场上画一条线，把穿红衣服和蓝衣服的两队小朋友分开。随便画一条线可能离某些小朋友很近，他们稍微动一下就跨过线了，这条线就不够“稳健”。SVM要做的是找到一条最“宽”的通道，让两队小朋友都尽量远离这条中线，这样即使有新的、稍微站偏一点的小朋友加入，也能被正确分类。这条最宽通道的边界，就是由那些离分界线最近的“小朋友”决定的，这些关键的“小朋友”就被称为支持向量，算法也因此得名。

所以，SVM特别适合什么样的情况呢？首先，它在高维空间中表现优异，比如文本分类、图像识别这些特征维度成百上千的场景。其次，当你的数据集规模不是特别巨大（比如几万到几十万样本）时，SVM往往能给出非常精确且泛化能力强的模型。最后，也是最重要的，当你的数据不是线性可分时，SVM通过其核心“核技巧”，能巧妙地将数据映射到更高维空间，从而在高维找到一个线性的分界面，这解决了大量实际问题。无论你是想入门机器学习，还是已经在实践中需要提升模型性能，深入理解SVM从原理到实现的全过程，都是一项极具价值的投资。接下来，我将抛开复杂的数学推导，用最直白的语言和可运行的代码，带你彻底搞懂SVM。

2. 核心原理拆解：间隔、支持向量与核函数

要理解SVM，不能一上来就扎进拉格朗日乘子法和对偶问题里。我们得先建立起最核心的几何直觉，理解了“我们要什么”，后面的数学工具才是“我们怎么得到它”。

2.1 最大间隔：SVM的终极追求

我们从一个最简单的二维线性可分数据集开始。假设有一堆红点和蓝点，我们需要一条直线（在更高维是超平面）把它们分开。这样的直线理论上可以有无数条。SVM认为，最好的那条线，是能让所有样本点都离它尽可能远的线。更准确地说，是让离这条线最近的那些点，离得最远。

这里就引出了两个关键概念：

函数间隔：对于一个样本点 $(x_i, y_i)$（其中 $y_i$ 是类别标签，通常取+1或-1）和超平面方程 $w^T x + b = 0$，函数间隔定义为 $\hat{\gamma}_i = y_i(w^T x_i + b)$。它的绝对值越大，说明分类预测的确信度越高。但函数间隔有个问题：等比例缩放 $w$ 和 $b$，超平面没变，间隔却变了，这不合理。
几何间隔：为了解决缩放问题，我们引入几何间隔 $\gamma_i = \frac{y_i(w^T x_i + b)}{||w||}$。它才是样本点到超平面的实际欧氏距离。SVM要最大化的，就是所有样本点中，最小的那个几何间隔。

因此，SVM的优化目标可以表述为：找到一个超平面，使得离它最近的那些样本点（即支持向量）到它的几何间隔最大。用数学公式表示就是： $$ \max_{w, b} \gamma \quad \text{s.t.} \quad y_i(w^T x_i + b) \geq \gamma, \quad i=1,...,m $$ 这里 $\gamma$ 是所有样本几何间隔的最小值。为了简化，通常令支持向量上的函数间隔为1（这可以通过缩放 $w, b$ 实现），那么优化问题就变成了更经典的形式： $$ \min_{w, b} \frac{1}{2} ||w||^2 \quad \text{s.t.} \quad y_i(w^T x_i + b) \geq 1, \quad i=1,...,m $$ 看到没？最大化几何间隔 $\gamma$，等价于最小化 $||w||^2$（即权重向量的范数）。这个形式优美多了，它是一个凸二次规划问题，有成熟的求解方法。

注意：这里有一个非常重要的理解点。最小化 $||w||^2$ 意味着让权重向量 $w$ 尽可能“小”或者说“平缓”。这实际上是一种正则化，它控制了模型的复杂度，有助于防止过拟合，提升泛化能力。这就是SVM理论优越性的体现之一：追求最大间隔天然地包含了结构风险最小化的思想。

2.2 支持向量：模型的“骨架”

支持向量是SVM的灵魂。它们是那些落在最大间隔边界（即满足 $y_i(w^T x_i + b) = 1$ 的样本点）上的样本。为什么叫“支持”呢？因为最终的超平面方程 $w = \sum_{i=1}^{m} \alpha_i y_i x_i$ 完全由这些支持向量决定，非支持向量对应的系数 $\alpha_i$ 为0。这意味着：

模型的存储和预测效率高：预测新样本时，只需要计算新样本与所有支持向量的内积（或核函数），而不需要所有训练样本。
模型对噪声和异常值相对鲁棒：只要噪声点没有成为支持向量，它们对最终模型就没有影响。当然，如果噪声点恰好出现在间隔带内或对面，它就可能成为支持向量从而影响模型，这就是引入“软间隔”的原因。

在实际应用中，支持向量的数量通常只占训练样本的一小部分。你可以通过查看训练好的SVM模型的support_vectors_属性来观察它们。

2.3 核技巧：从线性到非线性的魔法

现实世界的数据往往是线性不可分的，比如著名的“异或”问题。SVM解决此问题的利器就是核技巧。其核心思想非常巧妙：我们并不需要知道低维数据映射到高维后的具体形式 $\phi(x)$，我们只需要知道在高维空间中两个向量的内积 $K(x_i, x_j) = \langle \phi(x_i), \phi(x_j) \rangle$ 是多少。这个函数 $K$ 就是核函数。

这样一来，SVM的所有计算（包括优化目标函数和最终的决策函数）都只涉及样本间的内积。我们可以直接用核函数 $K(x_i, x_j)$ 来代替高维空间中的内积计算，从而隐式地在高维甚至无限维空间中寻找线性超平面，而计算成本却仍然停留在原始的低维空间。这是一种典型的“空间换时间”（实际上是“巧妙的数学换来了无限的空间”）的思想。

常用的核函数有几种：

线性核：$K(x_i, x_j) = x_i^T x_j$。就是原始空间的内积，用于线性可分或近似线性可分的情况。它没有额外的参数，速度最快。
多项式核：$K(x_i, x_j) = (x_i^T x_j + r)^d$。其中 $d$ 是多项式次数，$r$ 是常数项。它能捕捉特征间的高阶交互，但 $d$ 太大容易过拟合。
径向基函数核：$K(x_i, x_j) = \exp(-\gamma ||x_i - x_j||^2)$。这是最常用、最强大的核函数，也叫高斯核。它可以将样本映射到无限维空间。参数 $\gamma$ 控制了单个样本的影响范围：$\gamma$ 越大，模型越复杂，容易过拟合；$\gamma$ 越小，模型越平滑，容易欠拟合。
Sigmoid核：$K(x_i, x_j) = \tanh(\beta x_i^T x_j + \theta)$。形式上类似于神经网络的激活函数，但在实际中使用较少。

实操心得：核函数选择：对于新手，可以遵循一个简单的流程：1）先用线性核，因为它的速度最快，且如果数据近似线性可分，效果可能就很好。训练后检查支持向量的数量，如果几乎所有的样本都成了支持向量，说明数据可能不是线性的。2）如果线性核效果不佳，毫不犹豫地尝试RBF核。它在大多数情况下都能得到不错的结果，可以把它当作“默认”的非线性核。3）只有在有特定领域知识，或者为了模型可解释性时，才考虑多项式核等其他核函数。

3. 软间隔与正则化：应对现实的不完美

我们之前讨论的都是“硬间隔”SVM，它要求所有样本都必须被正确分类，且函数间隔至少为1。这在现实中太理想化了。数据中难免有噪声、异常值，或者两类数据本身就是轻微混杂的。强行用硬间隔去拟合，会导致模型非常复杂（间隔很窄），泛化能力极差，这种现象就是过拟合。

为了容忍一些错误，我们引入软间隔。其思想是允许一些样本不满足 $y_i(w^T x_i + b) \geq 1$ 的约束，但要付出代价。我们为每个样本引入一个松弛变量 $\xi_i \geq 0$，将约束放松为 $y_i(w^T x_i + b) \geq 1 - \xi_i$。同时，在优化目标中增加一项对这些松弛变量的惩罚。新的优化问题变为： $$ \min_{w, b, \xi} \frac{1}{2} ||w||^2 + C \sum_{i=1}^{m} \xi_i \quad \text{s.t.} \quad y_i(w^T x_i + b) \geq 1 - \xi_i, \quad \xi_i \geq 0 $$ 这里的 $C > 0$ 是一个超参数，称为正则化参数或惩罚因子。它控制着我们对误分类的容忍程度：

$C$ 值很大：意味着对误分类的惩罚很重，模型会倾向于尽可能少犯错误，间隔可能会变窄，模型变得更复杂，容易过拟合。
$C$ 值很小：意味着对误分类的惩罚很轻，模型可以容忍更多的错误，间隔会变宽，模型变得更简单，容易欠拟合。

因此，$C$ 是SVM中最重要的超参数之一，它直接控制了模型的“复杂度-误差”权衡。在实际调参时，$C$ 和核函数的参数（如RBF核的 $\gamma$）通常是网格搜索的重点对象。

从另一个角度看，软间隔的优化目标 $\frac{1}{2} ||w||^2 + C \sum \xi_i$ 是典型的“损失+正则化”形式。其中 $\frac{1}{2} ||w||^2$ 是L2正则化项，控制模型复杂度；$C \sum \xi_i$ 是经验风险项，这里用的是铰链损失。铰链损失函数为 $L = \max(0, 1 - y_i(w^T x_i + b))$，只有当函数间隔 $y_i(w^T x_i + b) \geq 1$ 时，损失才为0，否则损失线性增长。这正好对应了松弛变量 $\xi_i$ 的定义。所以，SVM的优化过程就是在最小化铰链损失的同时，用L2范数约束模型权重。

4. 从理论到代码：手撕SVM与Scikit-learn实战

理解了原理，我们来看看如何实现。我们将分两步：一是用Python和NumPy从零实现一个简单的线性SVM，加深理解；二是用成熟的Scikit-learn库解决一个实际分类问题。

4.1 手撕简化版SVM：理解优化过程

我们实现一个使用梯度下降法求解软间隔SVM的简化版本。这里我们直接优化合页损失（Hinge Loss）加上L2正则项的目标函数，这比求解原始的二次规划问题更直观，也更容易用梯度下降实现。

import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_blobs # 1. 生成模拟数据 X, y = make_blobs(n_samples=100, centers=2, n_features=2, random_state=42) # 将标签从{0, 1}转换为{-1, +1} y = 2 * y - 1 # 2. 定义SVM模型类（使用Hinge Loss + L2正则化） class SimpleSVM: def __init__(self, learning_rate=0.001, lambda_param=0.01, n_iters=1000): self.lr = learning_rate self.lambda_param = lambda_param # 正则化强度，对应C的倒数 self.n_iters = n_iters self.w = None self.b = None def fit(self, X, y): n_samples, n_features = X.shape # 初始化参数 self.w = np.zeros(n_features) self.b = 0 # 梯度下降 for _ in range(self.n_iters): for idx, x_i in enumerate(X): condition = y[idx] * (np.dot(x_i, self.w) + self.b) >= 1 if condition: # 分类正确且间隔足够，只更新w（正则化项梯度） self.w -= self.lr * (2 * self.lambda_param * self.w) else: # 分类错误或间隔不足，更新w和b self.w -= self.lr * (2 * self.lambda_param * self.w - np.dot(x_i, y[idx])) self.b -= self.lr * (-y[idx]) def predict(self, X): linear_output = np.dot(X, self.w) + self.b return np.sign(linear_output) # 3. 训练模型 svm = SimpleSVM(learning_rate=0.001, lambda_param=0.01, n_iters=1000) svm.fit(X, y) # 4. 可视化结果 def visualize_svm(): fig = plt.figure(figsize=(10, 6)) # 绘制数据点 plt.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm', s=50, edgecolors='k') # 获取当前坐标轴范围 ax = plt.gca() xlim = ax.get_xlim() ylim = ax.get_ylim() # 创建网格来绘制决策边界 xx = np.linspace(xlim[0], xlim[1], 30) yy = np.linspace(ylim[0], ylim[1], 30) YY, XX = np.meshgrid(yy, xx) xy = np.vstack([XX.ravel(), YY.ravel()]).T Z = svm.predict(xy).reshape(XX.shape) # 绘制决策边界和间隔 ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--']) ax.scatter(svm.w[0], svm.w[1], s=200, facecolors='none', edgecolors='r', linewidths=2, label='Weight vector') # 计算并绘制支持向量（简化版：找间隔边界附近的点） distances = np.abs(np.dot(X, svm.w) + svm.b) / np.linalg.norm(svm.w) support_vector_indices = np.where(distances < 1.05)[0] ax.scatter(X[support_vector_indices, 0], X[support_vector_indices, 1], s=150, facecolors='none', edgecolors='y', linewidths=2, label='Support vectors') plt.xlabel('Feature 1') plt.ylabel('Feature 2') plt.title('Simple Linear SVM Implementation') plt.legend() plt.grid(True, alpha=0.3) plt.show() visualize_svm()

这段代码实现了一个最基础的SVM。它有几个关键点需要注意：

损失函数：我们使用了合页损失的直观形式。当样本被正确分类且间隔足够大时，损失为0，只进行正则化更新；否则，损失线性增长，同时进行损失项和正则化项的梯度更新。
正则化参数：代码中的lambda_param对应 $\frac{1}{C}$。lambda_param越大（即C越小），正则化越强，模型越倾向于选择更大的间隔（权重w更小），可能容忍更多错误。
支持向量识别：在简化实现中，我们通过计算所有样本到决策边界的几何距离，并筛选距离小于某个阈值（如1.05）的点来近似识别支持向量。在实际的SMO或QP求解中，支持向量是通过拉格朗日乘子 $\alpha_i$ 精确确定的（$\alpha_i > 0$ 的样本即为支持向量）。

注意事项：这个简化实现使用了朴素的梯度下降，对于大规模数据或复杂核函数效率很低，且可能难以收敛到最优解。它的主要目的是教学，帮助你理解SVM优化目标与梯度更新之间的关系。在实际项目中，绝对不要使用这个版本，而应该使用下一节介绍的、经过高度优化的工业级库。

4.2 Scikit-learn实战：图像分类示例

现在，我们使用Scikit-learn的SVC类来解决一个更实际的问题：基于经典的手写数字数据集MNIST（这里我们用其简化版digits数据集）进行分类。

import numpy as np import matplotlib.pyplot as plt from sklearn import datasets, svm, metrics from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.preprocessing import StandardScaler import time # 1. 加载数据 digits = datasets.load_digits() X, y = digits.data, digits.target # 查看数据形状和样例 print(f"数据集形状: {X.shape}") # (1797, 64) - 1797张8x8的图片，展平为64维向量 print(f"标签形状: {y.shape}") print(f"类别: {np.unique(y)}") # 可视化前几个数字 fig, axes = plt.subplots(2, 5, figsize=(10, 5)) for i, ax in enumerate(axes.flat): ax.imshow(X[i].reshape(8, 8), cmap='gray') ax.set_title(f"Label: {y[i]}") ax.axis('off') plt.tight_layout() plt.show() # 2. 数据预处理：划分训练集/测试集，并标准化 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y) # SVM对特征尺度敏感，必须进行标准化 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 3. 创建SVM分类器并训练（先使用默认参数） clf = svm.SVC(kernel='rbf', random_state=42) # 默认使用RBF核 start_time = time.time() clf.fit(X_train_scaled, y_train) training_time = time.time() - start_time print(f"默认参数模型训练耗时: {training_time:.2f}秒") # 4. 在测试集上评估 y_pred = clf.predict(X_test_scaled) print("\n=== 默认参数模型性能 ===") print(f"分类准确率: {metrics.accuracy_score(y_test, y_pred):.4f}") print(f"分类报告:\n{metrics.classification_report(y_test, y_pred)}") # 绘制混淆矩阵 disp = metrics.ConfusionMatrixDisplay.from_estimator(clf, X_test_scaled, y_test, cmap='Blues') disp.ax_.set_title('Confusion Matrix (Default Parameters)') plt.show() # 5. 超参数调优：使用网格搜索 print("\n=== 开始超参数网格搜索 ===") # 定义参数网格 param_grid = { 'C': [0.1, 1, 10, 100], # 正则化参数 'gamma': ['scale', 'auto', 0.001, 0.01, 0.1], # RBF核参数 'kernel': ['rbf', 'poly', 'sigmoid'] # 也可以试试其他核 } # 创建网格搜索对象，使用5折交叉验证 grid_search = GridSearchCV(svm.SVC(random_state=42), param_grid, cv=5, scoring='accuracy', n_jobs=-1, verbose=1) grid_search.fit(X_train_scaled, y_train) print(f"\n最佳参数组合: {grid_search.best_params_}") print(f"最佳交叉验证准确率: {grid_search.best_score_:.4f}") # 6. 用最佳模型在测试集上最终评估 best_clf = grid_search.best_estimator_ y_pred_best = best_clf.predict(X_test_scaled) print(f"\n=== 调优后模型性能 ===") print(f"测试集准确率: {metrics.accuracy_score(y_test, y_pred_best):.4f}") print(f"分类报告:\n{metrics.classification_report(y_test, y_pred_best)}") # 7. 分析支持向量 print(f"\n=== 支持向量分析 ===") print(f"训练样本总数: {X_train_scaled.shape[0]}") print(f"支持向量总数: {best_clf.support_vectors_.shape[0]}") print(f"支持向量占比: {best_clf.support_vectors_.shape[0] / X_train_scaled.shape[0] * 100:.2f}%") # 可视化一些支持向量 n_sv_to_show = 10 sv_indices = best_clf.support_[:n_sv_to_show] fig, axes = plt.subplots(2, 5, figsize=(12, 6)) for i, (ax, idx) in enumerate(zip(axes.flat, sv_indices)): ax.imshow(X_train[idx].reshape(8, 8), cmap='gray') ax.set_title(f"SV #{i}\nLabel: {y_train[idx]}") ax.axis('off') plt.suptitle('Examples of Support Vectors', fontsize=14) plt.tight_layout() plt.show()

这段代码展示了一个完整的SVM建模流程，其中包含了几个关键实践点：

数据标准化：SVM基于距离度量（尤其是使用RBF核时），因此特征尺度必须一致。StandardScaler将每个特征缩放到均值为0，方差为1，这是至关重要的一步。
核函数选择：我们直接使用了强大的RBF核作为起点。在实际探索中，可以像网格搜索里做的那样，对比不同核函数的性能。
超参数调优：我们使用GridSearchCV对关键参数C和gamma进行系统搜索。C控制模型复杂度，gamma控制RBF核的“宽度”。gamma值大，单个样本影响范围小，决策边界曲折，容易过拟合；gamma值小，样本影响范围大，决策边界平滑，容易欠拟合。
支持向量分析：最后我们查看了支持向量的数量和样例。支持向量占比是模型复杂度的直观反映。占比过高可能意味着模型过于复杂或数据噪声较多。

运行这段代码，你会看到调优后的SVM在这个手写数字分类任务上能达到很高的准确率（通常超过98%），同时支持向量的数量远小于训练样本总数，这体现了SVM的稀疏性优势。

5. 高级话题与实战避坑指南

掌握了基础实现后，我们还需要了解一些高级话题和实战中必然会遇到的“坑”。

5.1 多分类问题：One-vs-One与One-vs-Rest

SVM本质上是二分类器。那像手写数字识别这样的多分类问题怎么办？Scikit-learn的SVC类默认采用One-vs-One策略。对于有 $k$ 个类别的问题，它会构建 $\frac{k(k-1)}{2}$ 个二分类器，每个分类器负责区分其中两个类别。预测时，让新样本经过所有分类器投票，得票最多的类别即为最终预测结果。

另一种常见策略是One-vs-Rest。构建 $k$ 个二分类器，第 $i$ 个分类器将第 $i$ 类作为正类，其余所有类作为负类。预测时，选择决策函数值最大的那个分类器对应的类别。

如何选择？

OvO 优点：每个分类器只用两类数据训练，训练数据相对均衡且规模小，可能对单个分类器更友好。
OvO 缺点：需要训练的分类器数量多，预测时需要调用所有分类器，计算开销大。
OvR 优点：只需训练 $k$ 个分类器，预测时计算 $k$ 个决策函数值即可。
OvR 缺点：每个分类器都用全部数据训练，且正负样本通常极不均衡（1类 vs k-1类），可能影响性能。

Scikit-learn的SVC默认用OvO，而LinearSVC则默认用OvR。对于类别数很多的问题（如成千上万个类别），OvO的计算成本会变得非常高，此时OvR是更可行的选择。

5.2 大数据集与计算效率

SVM的训练时间复杂度通常在 $O(n^2)$ 到 $O(n^3)$ 之间（其中 $n$ 是样本数），这对于大规模数据集（例如数十万、上百万样本）来说是难以承受的。对此，有几种应对策略：

使用线性核：线性SVM（LinearSVC或SVC(kernel='linear')）有更高效的优化算法（如基于坐标下降的LIBLINEAR库），其训练时间复杂度可接近 $O(n)$。如果数据近似线性可分，应优先尝试线性核。
核近似：对于非线性核，可以使用核近似技术，如使用Nystroem方法或基于随机傅里叶特征的方法，将数据映射到一个低维的显式特征空间，然后在这个空间里使用线性SVM。
减小训练集：通过精心设计的采样方法（如对支持向量可能出现的边界区域过采样）来减少训练样本数量。
使用增量学习：部分SVM实现支持增量学习，可以分批训练数据。

在Scikit-learn中，对于大数据集，可以优先尝试sklearn.svm.LinearSVC。如果必须使用非线性核，可以尝试设置SVC的cache_size参数来优化核矩阵的缓存，或者使用sklearn.kernel_approximation模块中的方法。

5.3 参数调优实战技巧与常见陷阱

调参是SVM应用中的重中之重。以下是一些血泪教训总结出的技巧：

网格搜索与交叉验证：

一定要使用交叉验证（如GridSearchCV）来评估参数性能，而不是单次划分的训练/测试集。
参数搜索范围建议从粗到细。可以先在一个很大的范围上用对数尺度搜索（如C: [0.001, 0.01, 0.1, 1, 10, 100, 1000]；gamma: [0.001, 0.01, 0.1, 1, 10]），锁定大致区间后再精细调整。
对于RBF核，C和gamma共同作用，需要联合调优。它们的关系大致是：
- 低C，低gamma：模型非常平滑，简单，可能欠拟合。
- 高C，高gamma：模型非常复杂，会努力拟合每一个训练样本，极易过拟合。
- 低C，高gamma：由于C小，模型复杂度被压制，即使gamma高也不至于过拟合太严重。
- 高C，低gamma：模型倾向于使用更多支持向量来获得一个相对平滑的边界。

特征工程：

标准化是必须的：如前所述，SVM对特征尺度敏感。务必进行标准化或归一化。
特征选择可能有益：高维特征中如果存在大量无关或冗余特征，会增加计算负担并可能引入噪声。可以结合卡方检验、互信息法或基于模型的特征重要性进行筛选。
对于文本数据：使用TF-IDF向量化后，特征维度极高且稀疏。线性SVM（如LinearSVC）在此类任务上表现卓越且高效，是文本分类的经典选择。

类别不平衡问题：当正负样本数量悬殊时，默认的SVM会偏向多数类。Scikit-learn的SVC和LinearSVC提供了class_weight参数。可以设置为'balanced'，让算法自动根据类别频率调整权重，误分类少数类的惩罚会更大。你也可以手动指定一个字典来赋予不同类别不同的权重。

一个典型的陷阱案例：我曾经处理过一个工业故障检测项目，正样本（故障）极少，负样本（正常）极多。直接使用默认SVM，准确率高达99.5%，但查全率（Recall）为0——它把所有样本都预测为正常了！这就是典型的类别不平衡导致的模型失效。解决方案是：1）使用class_weight='balanced'；2）采用过采样（如SMOTE）或欠采样技术调整数据集；3）使用Precision-Recall曲线而非ROC曲线作为模型评估的主要依据。