当前位置：首页 > news >正文

线性代数--AI数学基础复习

news 2025/7/7 12:18:26

原文链接：Github-Funny_Mr_Zhi GNN_playground

参考：麻省理工公开课线性代数 MIT Linear Algebra

Chapter1

可以带着问题去读，线性代数到底是什么，矩阵又是什么。尽管深入学习数学需要一种抽离出现实和直观理解的高度抽象思维，前期利用一些具体的现实映射示例有助于更好地理解和接受一套理论。

最终结论：矩阵分解A=LU是高斯消元求解n元方程组的抽象表示，高斯消元求解也是矩阵分解的一种具体现实映射，它帮助我们初步了解矩阵的妙用与可能的理解方式，为后续更广泛而奇妙的应用打下基础！(看到第一章最后就可以理解这句话，理解了这句话这一章也就学会了)

需要重点理解的用红色大字体标出

Class 1

Class 1:Explanation of the geometic equation system 方程组的几何解释

基本问题：N linear equations , n unknowns. 求解N个线性等式的n个未知数

三种视角

Row picture
column picture
matrix from

以二元一次方程组为例
$\begin{align} 2x - y = 0\\ -x+2y = 3 \end{align}$
用线性代数表示
$\left[ \begin{array}{ccc} 2 & -1 \\ -1 & 2 \end{array} \right] \left[ \begin{array}{ccc} x\\y \end{array} \right] = \left[ \begin{array}{ccc} 0\\3 \end{array} \right]$

从Row picture看，是二维空间的两条直线，交点即为解
从column picture看，是二维空间的两个向量，通过linear combination线性组合合成(0, 3)
从Matrix form看，计算左侧结构，可以当成矩阵乘法，也可以分解为column picture求解

具体解法中，图解只能在低维度使用，高维度不够直观，会用系统性的消元法解。这里重点关注线性组合，也就是理解列视角的看问题的方式。

一个常见的基本问题：

Can I solve Ax = b for every b
or say: Do the linear combinations of the columns fill N-D space
这个问题的答案与奇异\非奇异，可逆\非可逆有关

Class 2

elimination消元法解方程组

以三元一次方程组为例，一个自然的想法是利用消元法求解。

对应到矩阵上 $A x = b$ ，对角线上的元素称为主元，消元最终目的是主元下方的元素全部为0，且主元不为零。满足条件后，说明求解成功，通过回代可以求出所有变量的解。

从第一行开始，若当前主元行的主元不为零，则讲该行整体叠加到下面的行，确保主元下方元素都为0
若当前行主元为零，则可以交换主元行和其它行的位置，再次尝试第一步
逐行处理，若对角线主元全部非零且主元下方全部为零（上三角矩阵），则求解成功
- 回代：在所有过程中间矩阵右侧补充b列，称为argumented matrix增广矩阵
- b同步叠加操作，结果从最后一行开始向上逐行解出变量值
若无法满足上一步的要求，求解失败

该处理步骤可以和直接在方程组上进行消元的操作一一对应，直接目的就是消元。

从另一个角度理解：如何看待矩阵运算（一种行列变换）

|a b c| |x|      |a|     |b|     |c|
|d e f| |y| =  x |d| + y |e| + z |f|    //右侧列分解列叠加
|g h i| |z|      |g|     |h|     |i||a b c|    
|x y z| |d e f| = x |a b c| + y |d e f| + z |g h i|  //左侧行分解行叠加|g h i||a b|   |0 1| 
|c d|   |1 0|   等效于对左侧矩阵进行列置换，右侧变换矩阵进行列变换|0 1|   |a b|   
|1 0|   |c d|   等效于对右侧矩阵进行行置换，左侧变换矩阵进行行变换|1 0|   |a   b|    |a    b|
|2 1|   |-2a d|  = |0 d+2b|
等效于对右侧矩阵进行行变换，第一行不变，第二行为二倍第一行叠加过来

深入理解矩阵乘与行列变换的对应关系！

有了上面的理解，消元无非是行变换，也就是在A左侧不断乘上新的矩阵达到消元的目的。即消元过程可表示为 $E_{x}\dots(E_{1}A) = U$ 其中U为上三角矩阵。(这里注意，矩阵乘法有结合律，但没有交换律)

进一步可以思考逆矩阵的概念，从上面的理解角度，就是通过逆变换消除原来变换的影响

|1  0| |1   0| |a b|
|3  1| |-3  1| |c d|
以上两个左侧矩阵为逆变换，先是R2 = R2 - 3R1再是R2 = R2 + 3R1，还原回A

Class 3

Matrix mutiplication
Inverse of A
Gauss-Jordan find $A^{-1}$

首先学习矩阵乘法的四种计算方式，结果是一样的，四种方式事实上从四个角度理解矩阵乘法

矩阵乘法

对于矩阵乘法 $A B = C$

方式一: $C_{ij} = (Row_j\quad of\quad A)\quad ·\quad ( Col_i\quad of\quad B)$

$C_{ij} = \sum_{k=1}^n a_{ik}b_{kj}$

方式二：C的每一列由A的列的线性组合得到，C的第k列由B的第K列与A矩阵定义的线性组合得到
方式三：C的每一行由B的行的线性组合得到，C的第k行由A的第K行与B矩阵定义的线性组合得到
方式四： $\sum_{k=1}^{n}((Col_k\quad of \quad A) · (Row_k\quad of\quad B))$

这种理解方式是从多个视角观察矩阵乘法时到底发生了什么。
从AB角度看，可以拆分为行列乘、矩阵与列乘、行与矩阵乘、列行乘。
从C角度看，可以认为是一次计算一个元素、一次计算一列，一次计算一行，一次计算整个矩阵的部分分量

矩阵的逆与Gauss-Jordan

对于一个矩阵A，定义A的逆为 $A^{-1}$
$A^{-1}A = I = AA^{-1}$

关注两个问题：A的逆是否存在，以及如何求A的逆（此时可以与解方程组联系起来）

定理：若能找到非零向量x使得， $A x = 0$ ，则A不可逆

反正法解释：若存在A的逆， $A x = 0$ 说明 $Ix = A^{-1}0 = 0$ ，若x非零显然矛盾，单位矩阵乘非零向量不可能为零。

Gauss-Jordan目的是一次解多个N元方程组

|1 3|  |a c| = |x y|
|2 7|  |b d|   |i j|    可以理解为解两组方程第一组是：
|1 3|  |a| = |x|
|2 7|  |b|   |i|        第二组由B和C的另外一列构成，省略解法为将原A和C拼接，写成增广矩阵|A C|
|1 3 x y|
|2 7 i j|
然后对左侧A部分进行消元
|1 3 x    y   |
|0 1 i-2x j-2y|         
以上是Guass做法，Jordan继续消除A对角线以外其它元素（矩阵内运算替代回代过程）
|1 0 -3i+7x -3j+7y|
|0 1 i-2x   j-2y  | 
这样就解出a, b和c, d了求逆是可以利用Gauss-jordan，令右侧C=I
|A I|进行Gauss-jordan计算求解
得到|I E|这里，由于EA=I，则可以得出E即为要求解的A的逆

到这里为止，线性代数可以看作对于 $A B = C$ 中，知道任意两个矩阵，求另一个矩阵的范畴。

对于AB = Col of C，可以等效为求解一个N元方程。这是矩阵乘法和多元方程求解的对应关系。

通过矩阵分块和矩阵运算在等式两侧同时乘上一个矩阵，等式仍成立（以及矩阵运算分配律、结合律）可以通过一些有趣的方法实现系统性的计算过程。

理解Gauss-Jordan算法中用到的矩阵运算技巧，以及每一个运算过程对应的实际含义

Class4

矩阵求逆和转置的公式
矩阵分解 A = LU
矩阵分解复杂度
矩阵置换的组合与群

矩阵求逆和

$(AB)^{-1} = B^{-1}A^{-1}\quad (1)$
前提是在A，B有逆。该公式较为容易理解，(AB)的逆应该与(AB)左乘右乘都为I， $B^{-1}A^{-1}$ 显然满足

$(A^T)^{-1} = (A^{-1})^T\quad (2)$
以式子 $AB)^T = B^TA^T$ 为基础， $A^{-1})^TA^T = (AA^{-1})^T = I$ ，即 $A^{T}$ 的逆为 $A^{-1})^T$

矩阵分解

一种较为基础的分解：将A分解为L和上三角矩阵U

在高斯消元法中，为了得到上三角矩阵 $U$ ，使用E与A相乘得到U。
通常，E可以表示为若干步骤的行变换（若A可解的话）
- e.g.对3x3矩阵，E可分解为 $E_{32}E_{31}E_{21}$ ，其中 $E_{ij}$ 表示E为在I的基础上，第i行j列非零的矩阵，即将j行叠加到i行以消除A中主元下方i行的元素的变换
对于 $E A = U$ 可以写成 $A = E^{-1}U$ ，这里 $E^{-1}$ 就是我们要求的L
通常 $E^{-1}$ 写成若干 $E_{ij})^{-1}$ 相乘的形式，若采用这种分开写的形式和行变换视角理解矩阵乘和求逆计算，求解L的整个过程不需要任何演算，全部心算即可完成。

以下为示例

以3x3矩阵为例
假设E = E32 E21 (A31天然为0， 简化说明过程)
不妨令|1 0 0| |1 0 0|
E = |0 1 0|*|4 1 0||0 3 1| |0 0 1|
则L = E32的逆 * E21的逆|1  0 0| |1  0 0|
L = |-4 1 0|*|0  1 0||0  1 1| |0 -3 1|  利用行变换思路理解求逆，直接加负号就行|1  0 0|
L = |-4 1 0||0 -3 1|  利用行变换思路求矩阵乘，很快