矩阵复习

矩阵导数定理

若A是一个如下矩阵：
$$A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$$
y是一个向量矩阵：
$$\vec{y}=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$$
则可得 text 定理：
$$\frac{\delta A\ast \vec{y}}{\delta \vec{y}}=A^T$$
$$\frac{\delta {\vec{y}}^T\ast A}{\delta \vec{y}}=\frac{\delta A^T\ast \vec{y}}{\delta \vec{y}}=A$$
也就是对A*y的矩阵，求偏导y，结果为A的转置矩阵；

还可得另一个定理：
$$\frac{\delta {\vec{y}}^T\ast A\vec{y}}{\delta \vec{y}}=A\vec{y}+A^T\vec{y}$$
若A是一个对称矩阵，也就是$A^T=A$，则上面的还会等于
$$2A\vec{y}$$

δ符号表示求导，$\vec{y}表示一个向量$

这部分的推导过程可参考此篇视频

矩阵平方定理

若矩阵A满足相乘原则，则有定理：
$$A^2=A^T\ast A$$

单位矩阵

是一种恒等矩阵，对角线上全为1，其余全为0，如下：
$$I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
任何矩阵与单位矩阵相乘等于本身：
$$A\ast I=I\ast A=A$$

逆矩阵

注意逆矩阵不是转置矩阵，若两个矩阵A和B,n*n的方阵，且满足：
$$A\ast B=I$$
也就是矩阵相乘等于单位矩阵，也说明A就是B的逆矩阵，A是可逆的，记：B=A^-1

最小二乘法

若输入量为$x_1,x_2...x_n$，输出量为$y_1,y_2...y_n$，为了你和一条函数曲线，是的输入为$x_i$，输出为$y_i$，我们假定它是一个多项式函数如$y_i=a{x}_i^2+b{x}_i+c$，x和y都有观察数据，求$a,b,c$，因为数据又多组，带入矩阵中运算：
$$\left[\begin{array}{ccc}{x}_1^2& x_1& 1\\ x_2^2& x_2& 1\\ ...& ...& ...\\ x_n^2& x_n^2& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ c\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right]$$
进而用X，A，Y替换：
$$X\ast A=Y$$
A矩阵就是我们要求取的未知参数，往往信号观察是在由噪声的环境中的，假设噪声为V，且噪声的均值为0，也就是正和负噪声，则推导公式：
$$X\ast A=Y+V$$
为了使误差最小，使用最小二乘法，二乘差值平方，也就是：
$$(Y-X\ast A{)}^2=(Y-X\ast A{)}^T(Y-X\ast A)$$
对上面的式子A求偏导：
$$\frac{\delta (Y-X\ast A{)}^T(Y-X\ast A)}{\delta A}$$
推导过程可参考此视频最小二乘法讲解，求出后领偏导函数等于0求极值，也就是误差最小值，得到定理:
$$A=(X^{T}X{)}^{-1}{X}^{T}Y$$