深度学习篇---支持向量机（SVM，Support Vector Machine）
它常被称为“优雅的数学家之刃”，在深度学习出现之前，是分类任务（尤其是中小规模数据）的王者。为了让零基础也能听懂，我们还是从最直觉的几何想象开始。
一、SVM的核心思想：像“宽街道”一样划线
想象桌上散落着黑白两色的围棋棋子，你要用一根木棍把它们分开。这很简单，但关键问题是：木棍放在哪里最好？
SVM的回答是：不仅要把棋子分开，还要让木棍（分割线）离两边最近的棋子都尽可能的远。这样，将来再掉下新棋子时，落在正确一边的概率才最大。
这根木棍就是决策边界，而两边离木棍最近、支撑起这条“隔离带”的几个棋子，就是支持向量。两边的支持向量到决策边界的距离，就是间隔。SVM的全部目标，就是最大化这个硬间隔或软间隔。
所以，SVM做的分类器，本质上是要找到能最优区分两类数据的最大间隔超平面。
二、两大绝招：从线性到非线性
如果棋子分布很规整，一根直线就解决了，这叫线性可分。但如果黑白棋子混成一团呢？SVM有两大绝招来解决：
1. 软间隔与惩罚项C：容忍“少数派”
现实中，数据常有噪声或几个点特别不听话。如果死板地追求绝对分界线，反而会过拟合。
软间隔的思路是：允许一些点跨过隔离带甚至分界线，但“犯规”要付出代价，这个代价由一个参数C来控制。
C很大：像严厉的裁判，不容忍任何犯规，间隔窄，可能过拟合。
C很小：像宽松的裁判，允许较多点犯规，间隔宽，模型更平滑泛化能力强，但可能欠拟合。
可以把C理解为对“错误分类”的惩罚力度：C大，惩罚重，模型会尽力把所有训练点分对；C小，则更看重整体的宽间隔。
2. 核技巧：从“看山是山”到“立体升维”
这是SVM真正的魔法。如果黑白棋子混在一起，在二维平面上无论如何也画不出一条直线完全分开。SVM的做法是：把数据从二维平面映射到更高维的空间，就像俯视棋盘分不开，但站起来看，可能发现黑子轻、白子重，在三维空间用一个木板就轻松切开了。
核函数就是做这个升维映射的高效“梯子”，它能在不真正计算高维坐标的情况下，直接算出数据在高维空间里的相似度。常用核函数有：
线性核：
不升维，就是原始空间的线性SVM，适用于特征多、样本少（如文本分类）的情况。
多项式核：能形成曲线边界，需要指定维度，用复杂曲线去拟合数据。
高斯RBF核：最常用的“万金油”，理论上能把数据映射到无穷维，拟合能力极强。参数gamma控制每个点的影响范围：gamma大，每个点影响圈小，决策边界崎岖复杂，容易过拟合；gamma小，影响圈大，边界平滑。
Sigmoid核：源于神经网络，但不常用。
小结：线性SVM本身就是一种正则化很强的模型。而非线性SVM的核心就是核技巧，它可以理解为一个测量两数据点“相似度”的函数，让算法在高维空间中找到最大间隔超平面。
三、不止于二分类：SVM处理多分类与回归
SVM天生是二分类好手，但一个方法可以解决多分类：
一对一：每两类之间都训练一个SVM，投票决定。K类需要K(K-1)/2个分类器。
一对多：训练时依次把某一类看作正类，其余看作负类。K类只需K个分类器，但容易有偏斜。
对于回归任务，有支持向量回归（SVR）。它的思想很有趣：不追求预测值完全等于真实值，而是设置一个宽度为ε（epsilon）的不敏感管道。落在管道内的点不计误差，落在管道外的点才计算损失，目标是让管道尽可能平，同时超过ε的点尽量少。
四、SVM的优点与局限
突出优点：
小样本专家：在中小规模、高维度数据上表现出色，不易过拟合。
结果优雅：最终模型仅由少数支持向量决定，模型简洁。
泛化能力强：最大化间隔的思想，使其天生具有不错的鲁棒性和泛化界限。
主要局限：
大数据效率低：计算复杂度高，对海量样本和特征不友好。
参数和核函数需要精心调教：C、gamma和核函数的选择对结果影响巨大，调参成本高。
对缺失数据敏感。
非概率输出：直接输出的是到超平面的距离（决策值），而非直观的概率（虽然可以通过Platt缩放等方式校准）。
五、总结框图
这张mermaid图帮你将SVM的核心知识结构化：