在机器学习领域，分类算法是解决实际问题的核心工具之一。支持向量机（Support Vector Machine，简称 SVM）作为经典的分类模型，凭借其对小样本数据的优异拟合能力和强大的泛化性能，至今仍被广泛应用于图像识别、文本分类、生物信息学等多个领域。本文将从基本需求到优化求解，再到核函数的创新应用，带大家全面拆解 SVM 的核心逻辑。
一、SVM 的核心目标：找到 “最优” 划分超平面
1.1 基本需求：用超平面实现类别分离
SVM 的核心任务很明确 —— 在样本空间中找到一个划分超平面，将不同类别的样本彻底分开。这里需要先明确 “超平面” 的定义：
超平面是 n 维空间到 n-1 维空间的映射子空间，由一个 n 维向量（法向量）和一个实数（截距）共同定义。比如：
- 3 维空间中，超平面是 2 维平面；
- 2 维空间中，超平面是 1 维直线；
- n 维空间中，超平面的通用方程为：wTx+b=0（其中w是法向量，决定超平面的方向；b是截距，决定超平面的位置）。
1.2 理想超平面：对扰动的 “容忍性” 最优
并非所有能分离样本的超平面都是 “好” 的。比如在二维空间中，可能存在多条直线能分开正负样本，但部分直线对训练样本的 “局部扰动” 非常敏感 —— 只要样本位置稍有偏移，就会出现分类错误。
而 SVM 追求的理想超平面，是对这种扰动 “容忍性” 最好的超平面。换句话说，这个超平面在样本分布中处于 “最安全” 的位置，即使样本有轻微偏移，仍能保持正确分类。
1.3 优化核心：最大化 Margin（间隔）
如何量化 “容忍性”？SVM 引入了Margin（间隔） 的概念 —— 超平面到两侧最近样本的距离之和，即Margin=2d（d为超平面到单侧最近样本的距离）。
理想超平面的本质，就是最大化这个 Margin：Margin 越大，超平面到最近样本的距离越远，对样本扰动的容忍性就越强。这也是 SVM 区别于其他线性分类算法的核心思想。
二、关键概念：支持向量与点到超平面距离
2.1 支持向量：决定 Margin 的 “关键样本”
在所有训练样本中，只有距离超平面最近的样本会影响 Margin 的大小 —— 这些样本被称为 “支持向量”。
想象超平面两侧有两条平行于超平面的直线（分别对应正负样本的边界），这两条直线刚好穿过支持向量，且方程满足wTx+b=1和wTx+b=−1（后续会解释为何取 1 和 - 1）。除支持向量外，其他样本都位于这两条边界线之外，对 Margin 的计算没有影响。
2.2 点到超平面的距离公式
要计算 Margin，首先需要明确 “点到超平面的距离”。我们可以从二维空间的距离公式拓展到 n 维空间：
- 二维空间中，点(x,y)到直线Ax+By+C=0的距离为：A2+B2∣Ax+By+C∣；
- 推广到 n 维空间，点x到超平面wTx+b=0的距离为：d=wTw∣wTx+b∣。
结合支持向量的边界条件（wTx+b=±1），支持向量到超平面的距离可简化为：d=wTw1。因此，Margin（两侧支持向量的距离之和）为：Margin=2d=wTw2。
三、SVM 的优化求解：从目标函数到拉格朗日乘子法
3.1 目标函数的转化：从最大化到最小化
SVM 的目标是 “最大化 Margin”，即最大化wTw2。由于2是常数，该目标等价于 “最小化wTw”；为了简化计算（去掉根号），进一步等价于 “最小化21wTw”（乘以21不影响最小值的位置）。
同时，优化需要满足约束条件：所有样本都要位于支持向量边界之外，即对任意样本(xi,yi)（yi为类别标签，正例yi=+1，负例yi=−1），满足yi(wTxi+b)≥1。
综上，SVM 的优化问题可表示为：
minw,b21wTw
s.t.yi(wTxi+b)≥1(i=1,2,...,n)
3.2 拉格朗日乘子法：处理带约束的优化
上述问题是 “带不等式约束的凸优化问题”，直接求解难度较大，因此 SVM 引入拉格朗日乘子法，将约束条件融入目标函数，转化为无约束优化问题。
步骤 1：构造拉格朗日函数
为每个约束条件yi(wTxi+b)≥1引入拉格朗日乘子αi≥0，构造拉格朗日函数：
L(w,b,α)=21wTw−∑i=1nαi[yi(wTxi+b)−1]
其中，αi是拉格朗日乘子，用于平衡约束条件的重要性 —— 只有当样本是支持向量时，αi>0；非支持向量的αi=0（这也是 SVM “稀疏性” 的来源）。
步骤 2：对偶问题转化（min-max → max-min）
根据凸优化的对偶理论，原问题（最小化L对w,b的取值）可转化为对偶问题（最大化L对α的取值），即：
maxαminw,bL(w,b,α)
步骤 3：求解w和b的偏导数
首先对w和b求偏导并令其等于 0，得到最优解的必要条件：
- 对w求偏导：∂w∂L=w−∑i=1nαiyixi=0⟹w=∑i=1nαiyixi；
- 对b求偏导：∂b∂L=−∑i=1nαiyi=0⟹∑i=1nαiyi=0。
步骤 4：代入对偶函数，求解α
将w=∑i=1nαiyixi代入拉格朗日函数，消去w和b，最终对偶问题转化为：
maxα∑i=1nαi−21∑i=1n∑j=1nαiαjyiyj(xiTxj)
s.t.∑i=1nαiyi=0,αi≥0(i=1,2,...,n)
求解该对偶问题后，得到αi的最优解，再代入w=∑i=1nαiyixi即可得到w；而b可通过支持向量（αi>0的样本）满足yi(wTxi+b)=1求解。
四、应对现实问题：软间隔与核函数
4.1 软间隔：容忍少量噪音样本
前面的推导基于 “样本完全线性可分” 的理想情况，但现实数据中往往存在噪音样本（比如异常点）—— 如果强行要求所有样本满足yi(wTxi+b)≥1，会导致超平面的 Margin 极小，泛化能力下降（过拟合）。
为解决这个问题，SVM 引入松弛因子ξi≥0，允许少量样本不满足严格的约束条件，此时约束条件变为：
yi(wTxi+b)≥1−ξi
同时，目标函数需要加入对ξi的惩罚（避免过多样本违反约束），即：
minw,b,ξ21wTw+C∑i=1nξi
其中，C是惩罚系数：
- C趋近于无穷大：惩罚极强，等价于硬间隔（不允许任何样本违反约束）；
- C趋近于 0：惩罚极弱，允许大量样本违反约束，超平面的 Margin 会很大，但可能欠拟合。
4.2 核函数：解决低维不可分问题
当样本在低维空间中线性不可分时（比如 “异或” 问题），即使使用软间隔也无法找到合适的超平面。此时 SVM 的解决方案是：将低维样本映射到高维空间，使样本在高维空间中线性可分。
问题：高维映射的计算困境
直接将低维样本x映射到高维空间Φ(x)（比如 3 维映射到 9 维，100 维映射到104维），会导致计算量急剧增加 —— 尤其是在计算xiTxj的内积时，高维空间的内积计算复杂度会飙升。
解决方案：核函数的 “偷懒” 技巧
核函数的核心思想是：不需要显式计算高维映射Φ(x)，直接在低维空间中计算高维空间的内积。即找到一个函数K(xi,xj)，使得：
K(xi,xj)=Φ(xi)TΦ(xj)
这样既避免了高维映射的复杂计算，又能间接利用高维空间的线性可分性。
常见核函数
线性核函数：K(xi,xj)=xiTxj
适用于样本本身线性可分的场景，本质就是原始的 SVM（无高维映射）。高斯核函数（RBF 核）：K(xi,xj)=exp(−2σ2∥xi−xj∥2)
适用于样本非线性可分的场景，能将样本映射到无穷维空间，是实际应用中最常用的核函数之一。σ是带宽参数，控制核函数的 “平滑程度”——σ越小，核函数的局部性越强；σ越大，局部性越弱。
五、总结：SVM 的核心优势与适用场景
支持向量机通过 “最大化 Margin” 实现最优分类，通过 “拉格朗日乘子法” 求解带约束优化，通过 “软间隔” 容忍噪音，通过 “核函数” 解决非线性问题，其核心优势可总结为：
- 泛化能力强：基于 Margin 最大化，对小样本数据的拟合效果优异，不易过拟合；
- 稀疏性：仅依赖支持向量，计算和存储成本较低；
- 灵活性：通过核函数可处理各种非线性问题，适用范围广。
当然，SVM 也有局限性（比如对大规模数据的训练速度较慢、对参数C和核函数参数敏感），但在小样本、高维数据的分类任务中，仍是不可替代的经典算法。
希望通过本文的拆解，大家能对 SVM 的原理有更清晰的理解 —— 从 “找超平面” 到 “最大化 Margin”，再到 “应对现实数据的优化”，每一步都是 SVM 对 “如何更好分类” 的思考与创新。