线性判别分析（LDA）中求协方差矩阵示例
让我们通过一个简单的例子计算协方差矩阵。假设我们有两类数据集 X 0 X_0 X0 和 X 1 X_1 X1，每类有两个样本，每个样本有两个特征。
数据集：
类 0 的样本：
X 0 = [ 1 2 2 3 ] X_0 = \begin{bmatrix} 1 & 2 \\ 2 & 3 \end{bmatrix} X0=[1223]
类 1 的样本：
X 1 = [ 4 5 5 6 ] X_1 = \begin{bmatrix} 4 & 5 \\ 5 & 6 \end{bmatrix} X1=[4556]
1. 计算每类的均值向量：
首先，我们需要计算每类数据的均值向量。
对于类 0，均值向量 μ 0 \mu_0 μ0：
μ 0 = 1 2 [ 1 + 2 2 + 3 ] = [ 1.5 2.5 ] \mu_0 = \frac{1}{2} \begin{bmatrix} 1+2 \\ 2+3 \end{bmatrix} = \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix} μ0=21[1+22+3]=[1.52.5]
对于类 1，均值向量 μ 1 \mu_1 μ1：
μ 1 = 1 2 [ 4 + 5 5 + 6 ] = [ 4.5 5.5 ] \mu_1 = \frac{1}{2} \begin{bmatrix} 4+5 \\ 5+6 \end{bmatrix} = \begin{bmatrix} 4.5 \\ 5.5 \end{bmatrix} μ1=21[4+55+6]=[4.55.5]
2. 计算协方差矩阵：
协方差矩阵的公式为：
Σ = 1 n − 1 ∑ i = 1 n ( x i − μ ) ( x i − μ ) T \Sigma = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \mu)(x_i - \mu)^T Σ=n−11i=1∑n(xi−μ)(xi−μ)T
对类 0 计算协方差矩阵 Σ 0 \Sigma_0 Σ0：
我们对每个样本减去均值向量 μ 0 \mu_0 μ0，并计算它们的外积。
对于第一个样本 x 1 = [ 1 , 2 ] x_1 = [1, 2] x1=[1,2]，
x 1 − μ 0 = [ 1 2 ] − [ 1.5 2.5 ] = [ − 0.5 − 0.5 ] x_1 - \mu_0 = \begin{bmatrix} 1 \\ 2 \end{bmatrix} - \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix} = \begin{bmatrix} -0.5 \\ -0.5 \end{bmatrix} x1−μ0=[12]−[1.52.5]=[−0.5−0.5]
对于第二个样本 x 2 = [ 2 , 3 ] x_2 = [2, 3] x2=[2,3]，
x 2 − μ 0 = [ 2 3 ] − [ 1.5 2.5 ] = [ 0.5 0.5 ] x_2 - \mu_0 = \begin{bmatrix} 2 \\ 3 \end{bmatrix} - \begin{bmatrix} 1.5 \\ 2.5 \end{bmatrix} = \begin{bmatrix} 0.5 \\ 0.5 \end{bmatrix} x2−μ0=[23]−[1.52.5]=[0.50.5]
接下来，我们计算外积：
( x 1 − μ 0 ) ( x 1 − μ 0 ) T = [ − 0.5 − 0.5 ] [ − 0.5 − 0.5 ] = [ 0.25 0.25 0.25 0.25 ] (x_1 - \mu_0)(x_1 - \mu_0)^T = \begin{bmatrix} -0.5 \\ -0.5 \end{bmatrix} \begin{bmatrix} -0.5 & -0.5 \end{bmatrix} = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x1−μ0)(x1−μ0)T=[−0.5−0.5][−0.5−0.5]=[0.250.250.250.25]
( x 2 − μ 0 ) ( x 2 − μ 0 ) T = [ 0.5 0.5 ] [ 0.5 0.5 ] = [ 0.25 0.25 0.25 0.25 ] (x_2 - \mu_0)(x_2 - \mu_0)^T = \begin{bmatrix} 0.5 \\ 0.5 \end{bmatrix} \begin{bmatrix} 0.5 & 0.5 \end{bmatrix} = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x2−μ0)(x2−μ0)T=[0.50.5][0.50.5]=[0.250.250.250.25]
协方差矩阵为这两个外积的平均：
Σ 0 = 1 2 − 1 ( [ 0.25 0.25 0.25 0.25 ] + [ 0.25 0.25 0.25 0.25 ] ) = [ 0.5 0.5 0.5 0.5 ] \Sigma_0 = \frac{1}{2-1} \left( \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} + \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} \right) = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ0=2−11([0.250.250.250.25]+[0.250.250.250.25])=[0.50.50.50.5]
对类 1 计算协方差矩阵 Σ 1 \Sigma_1 Σ1：
同样地，对类 1 的样本进行相同的步骤。
对于第一个样本 x 1 = [ 4 , 5 ] x_1 = [4, 5] x1=[4,5]，
x 1 − μ 1 = [ 4 5 ] − [ 4.5 5.5 ] = [ − 0.5 − 0.5 ] x_1 - \mu_1 = \begin{bmatrix} 4 \\ 5 \end{bmatrix} - \begin{bmatrix} 4.5 \\ 5.5 \end{bmatrix} = \begin{bmatrix} -0.5 \\ -0.5 \end{bmatrix} x1−μ1=[45]−[4.55.5]=[−0.5−0.5]
对于第二个样本 x 2 = [ 5 , 6 ] x_2 = [5, 6] x2=[5,6]，
x 2 − μ 1 = [ 5 6 ] − [ 4.5 5.5 ] = [ 0.5 0.5 ] x_2 - \mu_1 = \begin{bmatrix} 5 \\ 6 \end{bmatrix} - \begin{bmatrix} 4.5 \\ 5.5 \end{bmatrix} = \begin{bmatrix} 0.5 \\ 0.5 \end{bmatrix} x2−μ1=[56]−[4.55.5]=[0.50.5]
外积分别为：
( x 1 − μ 1 ) ( x 1 − μ 1 ) T = [ 0.25 0.25 0.25 0.25 ] (x_1 - \mu_1)(x_1 - \mu_1)^T = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x1−μ1)(x1−μ1)T=[0.250.250.250.25]
( x 2 − μ 1 ) ( x 2 − μ 1 ) T = [ 0.25 0.25 0.25 0.25 ] (x_2 - \mu_1)(x_2 - \mu_1)^T = \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} (x2−μ1)(x2−μ1)T=[0.250.250.250.25]
协方差矩阵为：
Σ 1 = 1 2 − 1 ( [ 0.25 0.25 0.25 0.25 ] + [ 0.25 0.25 0.25 0.25 ] ) = [ 0.5 0.5 0.5 0.5 ] \Sigma_1 = \frac{1}{2-1} \left( \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} + \begin{bmatrix} 0.25 & 0.25 \\ 0.25 & 0.25 \end{bmatrix} \right) = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ1=2−11([0.250.250.250.25]+[0.250.250.250.25])=[0.50.50.50.5]
结果：
对于类 0 和类 1，它们的协方差矩阵分别为：
Σ 0 = [ 0.5 0.5 0.5 0.5 ] \Sigma_0 = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ0=[0.50.50.50.5]
Σ 1 = [ 0.5 0.5 0.5 0.5 ] \Sigma_1 = \begin{bmatrix} 0.5 & 0.5 \\ 0.5 & 0.5 \end{bmatrix} Σ1=[0.50.50.50.5]
这是一个简单的二维数据集协方差矩阵的计算例子。