保姆级教程：用Python+LIBSVM复现周志华《机器学习》西瓜数据集3.0α实验
从零实现西瓜分类：Python+LIBSVM实战指南
在机器学习入门阶段，很多学习者都会遇到一个共同困境——教材上的数学公式看得懂，但不知道如何用代码实现。本文将手把手带你用Python和LIBSVM工具包，完整复现《机器学习》中的经典西瓜数据集分类实验。不同于单纯的理论讲解，我们会聚焦于工程实现细节，包括数据预处理、模型训练、参数调优和结果可视化全流程。
1. 实验环境搭建与数据准备
1.1 安装必要的工具包
首先确保你的Python环境已经安装以下包：
pip install libsvm-official openpyxl matplotlib numpy提示：推荐使用Anaconda创建独立的Python环境，避免包版本冲突
1.2 理解西瓜数据集3.0α
这个经典数据集包含17个西瓜样本，每个样本有2个特征：
- 密度（density）
- 含糖率（sugar_rate）
以及对应的类别标签（好瓜1/坏瓜0）。原始数据通常以Excel格式存储，我们需要先将其转换为LIBSVM要求的格式：
[类别] [属性编号1]:[属性值1] [属性编号2]:[属性值2]例如：
1 1:0.697 2:0.46 0 1:0.243 2:0.2671.3 数据格式转换实战
使用Python脚本将Excel数据转换为LIBSVM格式：
import openpyxl def excel_to_libsvm(input_path, output_path): wb = openpyxl.load_workbook(input_path) sheet = wb.active with open(output_path, 'w') as f: for row in sheet.iter_rows(min_row=2, values_only=True): label = int(row[0]) features = [f"{i+1}:{val}" for i, val in enumerate(row[1:])] f.write(f"{label} {' '.join(features)}\n") excel_to_libsvm('xigua3.0.xlsx', 'xigua.libsvm')2. LIBSVM核心操作指南
2.1 数据加载与基础训练
LIBSVM提供了简洁的API接口：
from libsvm.svmutil import * # 加载数据 y, x = svm_read_problem('xigua.libsvm') # 线性核训练 model_linear = svm_train(y, x, '-t 0 -c 1')2.2 参数详解与调优策略
LIBSVM的关键参数：
| 参数 | 说明 | 常用值 |
|---|---|---|
| -t | 核函数类型 | 0(线性), 2(RBF) |
| -c | 惩罚系数 | 0.1~10000 |
| -g | RBF核的gamma参数 | 0.001~10 |
调整参数的实用技巧：
- 从小c值开始尝试（如1），逐步增大
- RBF核需要同时调整c和gamma
- 使用交叉验证评估参数效果
2.3 模型评估与预测
# 预测训练集（演示用，实际应该用测试集） p_label, p_acc, p_val = svm_predict(y, x, model_linear) # 输出示例： # Accuracy = 82.35% (14/17)3. 核函数对比实验
3.1 线性核实战
# 线性核训练 model_linear = svm_train(y, x, '-t 0 -c 100')线性核的特点：
- 训练速度快
- 适合线性可分数据
- 参数少，不易过拟合
3.2 RBF核实战
# RBF核训练 model_rbf = svm_train(y, x, '-t 2 -c 100 -g 0.1')RBF核的优势：
- 能处理非线性可分数据
- 通过gamma参数控制决策边界复杂度
- 需要更多调参经验
3.3 性能对比分析
我们在西瓜数据集上的实验结果：
| 核类型 | 准确率 | 支持向量数 |
|---|---|---|
| 线性核 | 82.35% | 6 |
| RBF核(c=100) | 82.35% | 5 |
| RBF核(c=10000) | 100% | 4 |
注意：训练集100%准确可能意味着过拟合，实际应用中应该保留测试集验证
4. 结果可视化与解读
4.1 决策边界绘制
import numpy as np import matplotlib.pyplot as plt def plot_decision_boundary(model, x, y): # 生成网格点 x_min, x_max = min(x[:,0])-0.1, max(x[:,0])+0.1 y_min, y_max = min(x[:,1])-0.1, max(x[:,1])+0.1 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100)) # 预测网格点类别 grid = np.c_[xx.ravel(), yy.ravel()] fake_y = np.zeros(len(grid)) p_label, _, _ = svm_predict(fake_y, grid, model) # 绘制结果 plt.contourf(xx, yy, np.array(p_label).reshape(xx.shape), alpha=0.3) plt.scatter(x[:,0], x[:,1], c=y, edgecolors='k') plt.xlabel('Density') plt.ylabel('Sugar Rate') plt.show() # 转换为numpy数组便于处理 x_np = np.array([[xi[1], xi[2]] for xi in x]) plot_decision_boundary(model_rbf, x_np, y)4.2 不同核函数可视化对比
通过可视化可以直观看到：
- 线性核产生直线决策边界
- RBF核可以产生复杂的非线性边界
- 增大c值会使边界更贴合训练数据
5. 工程实践中的常见问题
5.1 数据标准化的重要性
LIBSVM不会自动标准化数据，建议预处理：
from sklearn.preprocessing import StandardScaler scaler = StandardScaler() x_scaled = scaler.fit_transform(x_np)5.2 类别不平衡处理
当正负样本比例失衡时，可以使用权重参数：
# 给少数类更高权重 model = svm_train(y, x, '-t 2 -c 1 -w1 2')5.3 模型保存与加载
# 保存模型 svm_save_model('xigua.model', model_rbf) # 加载模型 loaded_model = svm_load_model('xigua.model')在实际项目中，我发现RBF核的gamma参数对结果影响很大。一个实用的技巧是先用默认参数训练，然后根据训练集准确率调整：如果准确率太低，尝试增大gamma；如果准确率100%但测试集表现差，可能需要减小gamma防止过拟合。