python学智能算法（二十六）|SVM-拉格朗日函数构造

【1】引言

前序学习进程中，已经了解了拉格朗日乘数法求极值的基本原理，也了解了寻找最佳超平面就是寻找最佳分隔距离。
这篇文章的学习目标是：使用拉格朗日乘数法获取最佳的分隔距离。

【2】构造拉格朗日函数

目标函数

首先是目标函数f：
$$f=\min \frac{1}{2}{\Vert w\Vert }^2$$
然后是约束函数g：
之前定义了函数距离F：
$$F=\underset{i=\mathrm{1...}m}{\min }{y}_i(w\cdot x_i+b)$$
以及几何距离δ：
$$\delta =\underset{i=\mathrm{1...}m}{\min }{y}_i(\frac{w}{\Vert w\Vert }\cdot x+\frac{b}{\Vert w\Vert })$$

约束函数

在引出目标函数f的过程中，使用的方法是：等比率调整权重矩阵w
和偏执量b，使得F=1。
所以才会有最佳超平面对应的最大分隔距离δmax：
$${\delta }_{max}=\max \frac{1}{\Vert w\Vert }$$
也是据此才转化出来的目标函数f。
我们在理解这个转化的时候可能过于简略，没有强调一个细节：

• F=1是对最小的函数距离F调整权重矩阵w和偏置量b获得， 每个候选超平面都先将最小函数距离调整到1，；
  然后再来对比调整后的权重矩阵w，最小的w对应最大的f。

再强调一遍：
每个超平面的最小函数距离F都先调整为1，然后对比挑出来的所有1对应的权重矩阵w，取最小w对应的超平面为最佳超平面。

为此，将约束函数的定义重新也回到函数距离F的应用上，将F的定义改写成g：
$$g=y_i(w\cdot x_i+b)\ge 1$$
或者：
$$g=y_i(w\cdot x_i+b)-1\ge 0$$
g就是约束函数。

在此基础上，构造拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^m{\alpha }_i[y_i(w\cdot x_i+b)-1]$$上式使用了自动求和符号，这是因为拉格朗日函数需要感知每一个约束条件，只有每个约束条件都满足，才能获得真正的最优解。
这里的每个约束条件都分配了单独的因子${\alpha }_i$。

总结

学习了SVM算法中的拉格朗日函数构造方法。