支持向量机（SVM）例题
对于图中所示的线性可分的20个样本数据，利用支持向量机进行预测分类，有三个支持向量 A ( 0 , 2 ) A\left(0, 2\right) A(0,2)、 B ( 2 , 0 ) B\left(2, 0\right) B(2,0) 和 C ( − 1 , − 1 ) C\left(-1, -1\right) C(−1,−1)。
- 求支持向量机分类器的线性判别函数。
- 删除点 A A A后，支持向量是否发生变化?
求解：
- 三个点，建立联立方程组：
{ w 1 x A + w 2 y A + b = 1 w 1 x B + w 2 y B + b = 1 w 1 x C + w 2 y C + b = − 1 \begin{cases} w_1 x_A + w_2 y_A + b &= 1 \\ w_1 x_B + w_2 y_B + b &= 1 \\ w_1 x_C + w_2 y_C + b &= -1 \\ \end{cases} ⎩ ⎨ ⎧w1xA+w2yA+bw1xB+w2yB+bw1xC+w2yC+b=1=1=−1
[ x A y A 1 x B y B 1 x C y C 1 ] [ w 1 w 2 b ] = [ 1 − 1 − 1 ] \begin{bmatrix} x_A & y_A & 1 \\ x_B & y_B & 1 \\ x_C & y_C & 1 \\ \end{bmatrix} \begin{bmatrix} w_1 \\ w_2 \\ b \\ \end{bmatrix}=\begin{bmatrix} 1 \\ -1 \\ -1 \\ \end{bmatrix} xAxBxCyAyByC111 w1w2b = 1−1−1
求解
w 1 = 0.5 w 2 = 0.5 b = 0 \begin{align*} w_1 &= 0.5 \\ w_2 &= 0.5 \\ b &= 0 \\ \end{align*} w1w2b=0.5=0.5=0
线性判别函数
f ( x ) = 0.5 x + 0.5 y f(x) = 0.5x + 0.5y f(x)=0.5x+0.5y
- 变化