python学智能算法（三十六）|SVM-拉格朗日函数求解（中）-软边界

【1】引言

前序学习进程中，已经对常规SVM拉格朗日方程求解展开了探索。
但面对软边界SVM拉格朗日方程，对求解提出了新的要求。

【2】方程求解

软边界拉格朗日方程表达式为：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(w\cdot x_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\mu }_i{\xi }_i$$

【2.1】对$w$求偏导数

令$L对w$的偏导数为0：
$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0$$
获得：
$$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i$$
可见，超平面的法向量$w$可以由样本$x_i$，标签$y_i$和乘子${\alpha }_i$线性表示。

【2.2】对$b$求偏导数

令$L对b$的偏导数为0：
$$\frac{\partial L}{\partial b}=-\sum _{i=1}^n{\alpha }_i{y}_i=0$$
获得：
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$
可见，标签$y_i$和乘子${\alpha }_i$的加权和为0。

【2.3】对${\xi }_i$求偏导数

令$L对{\xi }_i$的偏导数为0：
$$\frac{\partial L}{\partial {\xi }_i}=C-{\alpha }_i-{\mu }_i=0$$
获得：
$${\mu }_i=C-{\alpha }_i$$
可见，乘子${\mu }_i$可以由$C$和${\alpha }_i$表示，因为前序已经规定${\mu }_i\ge 0$和${\alpha }_i\ge 0$，所以有：
$$0\le {\alpha }_i\le C$$

【2.4】将偏导数结果代入原方程

首先是$w$项：
$$\begin{gathered} \frac{1}{2}||w|{|}^2=\frac{1}{2}(\sum _{i=1}^n{\alpha }_i{y}_i{x}_i)(\sum _{j=1}^n{\alpha }_j{y}_j{x}_j) \\ =\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j) \end{gathered}$$
然后是${\xi }_i$项：
$$\begin{gathered} C\sum {\xi }_i-\sum {\alpha }_i{\xi }_i-\sum {\mu }_i{\xi }_i \\ =C\sum {\xi }_i-\sum {\alpha }_i{\xi }_i-\sum (C-{\alpha }_i){\xi }_i \\ =0 \end{gathered}$$
整理后获得的方程为：
$$L(w,b,\xi ,\alpha ,\mu )=\sum {\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)$$

【3】总结

学习了SVM软边界拉格朗日方程求解的基本方法。