python学智能算法（三十五）|SVM-软边界拉格朗日方程乘子非负性理解

【1】引言

前序学习进程中，已经学习了构建SVM软边界拉格朗日方程，具体方程形式为：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(w\cdot x_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\mu }_i{\xi }_i$$

【2】乘子非负性讨论

SVM软边界拉格朗日方程的乘子${\alpha }_i\ge 0,{\mu }_i\ge 0$，这样设置的目的是为了满足KKT条件。
标准的KKT条件构造出来的梯度平衡方程为：
$$\nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i\nabla g_i(x^{\ast })+\sum _{j=1}^p{\mu }_j\nabla h_j(x^{\ast })=0$$
其中要求乘子${\lambda }_i\ge 0$，对应$g_i(x)\le 0$。
在SVM软边界的定义中，因为距离函数$[y_i(w\cdot x_i+b)-1+{\xi }_i]$是正的，所以拉格朗日函数里面先用减法将距离函数转化为一个减数，此时为满足距离函数带来的约束是负数，就必须规定${\alpha }_i\ge 0$。
此外由于${\xi }_i\ge 0$本身也是一个非负数，所以按照同样的原则，构造拉格朗日方程时，在其前面先给一个负号，再给一个非负数的乘子。
这样，SVM软边界拉格朗日方程的乘子${\alpha }_i\ge 0,{\mu }_i\ge 0$，就实现了满足KKT条件的目的。

【3】总结

对SVM软边界拉格朗日方程的乘子非负性进行了理解。