【笔记——李沐动手学深度学习】2.3 线性代数

2.3.1 标量

标量由只有一个元素的张量表示。 下面的代码将实例化两个标量，并执行一些熟悉的算术运算，即加法、减、乘法、除法和指数。

2.3.2 向量

人们通过一维张量表示向量。一般来说，张量可以具有任意长度，取决于机器的内存限制。

我们可以使用下标来引用向量的任一元素，例如可以通过 $x_i$来引用第$i$个元素。

注意，元素$x_i$是一个标量，所以我们在引用它时不会加粗。
大量文献认为列向量是向量的默认方向。

在数学中，向量$\mathbf{x}$可以写为：

$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],$$

• 其中$x_1,\dots ,x_n$是向量的元素。在代码中，我们(通过张量的索引来访问任一元素)。
• 注意：下标从0计数。
  

2.3.2.1 长度、维度和形状

2.3.3 矩阵

调用函数来实例化张量时，我们可以[通过指定两个分量$m$和$n$来创建一个形状为$m\times n$的矩阵]。

矩阵的转置

对称矩阵

2.3.4 张量

当我们开始处理图像时，张量将变得更加重要，图像以$n$维数组形式出现。

个人认为：
标量代表一个元素
向量代表一维数组
矩阵代表二维数组
张量则代表多维（>2），但是张量也可以代表标量/向量/矩阵

2.3.5 张量算法的基本性质

矩阵加法： 将两个相同形状的矩阵相加，会在这两个矩阵上执行元素加法。

Hadamard积： 两个矩阵的按元素乘法（Hadamard product）（数学符号$\odot$）。
$$\mathbf{A}\odot \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \dots & a_{1n}{b}_{1n}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \dots & a_{2n}{b}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}& \dots & a_{mn}{b}_{mn}\end{array}\right].$$

将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。

2.3.6 降维

元素和， 可以表示任意形状张量的元素和

指定张量沿哪一个轴来通过求和降低维度

• 对于二维而言，轴0为行，轴1为列。axis=0代表行消失，多行变为一行。

平均值

2.3.6.1 非降维求和

有时在调用函数来计算总和或均值时保持轴数不变会很有用。

由于sum_A在对每行进行求和后仍保持两个轴，我们可以(通过广播将A除以sum_A)。

铅某个轴计算A元素的累积总和

2.3.7 点积

一维向量的点积

可以通过执行按元素乘法，然后进行求和来表示两个向量的点积

2.3.8 矩阵-向量积

2.3.9 矩阵-矩阵乘法

2.3.10 范数

$L_2$范数： 向量元素平方和的平方根

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2},$$

$L_1$ 范数： 向量元素的绝对值之和
深度学习中更经常地使用$L_2$范数的平方，也会经常遇到$L_1$范数。

• 与$L_2$范数相比，$L_1$范数受异常值的影响较小。
  为了计算$L_1$范数，我们将绝对值函数和按元素求和组合起来。

$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n\left|x_i\right|.$$

Frobenius范数： 矩阵元素平方和的平方根