LA@向量空间@坐标变换

向量空间

• 设$V$是n维向量的非空集合,如果$V$对向量的加法和数乘运算封闭,即

  • $$\begin{gathered} \forall \alpha ,\beta \in V,\forall k\in \mathbb{R} \\ \alpha +\beta ,k\alpha \in V \end{gathered}$$

  • 称集合$V$为(n维向量的)向量空间

  • 向量空间中设计的是线性运算,因此也称向量空间为线性空间

向量空间的属性

• 设V为向量空间,如果$\Phi ={\alpha }_1,\cdots ,{\alpha }_r,{\alpha }_i\in V,i=1,2,\cdots ,r$

  • $\Phi$线性无关
  • V中的任意向量可以用$\Phi$线性表示,则
    • 称$\Phi$是$V$的一组基
    • $r$是V的维数
    • 称$V$是$r$维向量空间

坐标

• 如果$\Phi$是V的一组基,任意${\alpha }_i\in V$可以由$\Phi$唯一线性表示,设唯一的表出系数为$x=(x_1,\cdots ,x_r{)}^T$

  • $$\alpha =\Phi x=\sum _{i=1}^r{x}_i{\alpha }_i$$

  • 则称有序数$x$为向量$\alpha$在基$\Phi$下的坐标,记为$x=(x_1,\cdots ,x_r{)}^T$或$x=(x_1,\cdots ,x_r)$

  • 关于唯一性:向量组添加一个向量的讨论🎈

例

• 在$R^3$中取基:$\Phi ={\alpha }_1,{\alpha }_2,{\alpha }_3$

  • $$\begin{gathered} {\alpha }_1=(1,0,0{)}^T \\ {\alpha }_2=(0,-1,0{)}^T \\ {\alpha }_3=(0,0,-1{)}^T \end{gathered}$$

  • 将向量$\alpha =(1,2,3{)}^T$在$\Phi$下的坐标

  • 通过解$\Phi x=\alpha$线性方程,解向量就是坐标

    • $$\begin{gathered} (\Phi |\alpha )=\left(\begin{array}{cccc}1& 0& 0& 1\\ 0& -1& 0& 2\\ 0& 0& -1& 3\end{array}\right) \\ =\left(\begin{array}{cccc}1& 0& 0& 1\\ 0& 1& 0& -2\\ 0& 0& 1& -3\end{array}\right) \\ (x_1,x_2,x_3{)}^T=(1,-2,-3{)}^T \end{gathered}$$

    • 因此坐标为$(1,-2,-3)$

基变换@坐标变换

• 在n维向量空间中$R^n$中,任意n个线性无关的向量都可以构成一个$R^n$的基

• 对于不同的基${\Phi }_i$,同一个向量的坐标一般因基的不同而不同

• 设n维空间向量的两组基:$\Phi ={\alpha }_1,\cdots ,{\alpha }_n$,$\Psi ={\beta }_1,\cdots ,{\beta }_n$,$A=(\Phi ),B=(\Psi )\in {\mathbb{R}}^{n\times n}$,显然A,B都是可逆方阵(构成基的向量线性无关)

  • $B=AC$,其中$C=(c_{ij}{)}_{n\times n}$;该公式称为基变换公式
    • $C=A^{-1}B$,
    • C也是可逆矩阵(C可以表示为一系列初等矩阵的乘积$A^{-1}B$)
  • 称矩阵C为$A\to B$的过渡矩阵,过度矩阵的计算公式:$C=A^{-1}B$

• 对于任意的向量$\alpha \in R^n$,$\alpha$在$\Phi$下的坐标设为$x=(x_1,\cdots ,x_n{)}^T$,在$\Psi$下的坐标设为$y=(y_1,\cdots ,y_n{)}^T$

• 即$\alpha =A(x_1,\cdots ,x_n{)}^T=B(y_1,\cdots ,y_n{)}^T$

  • $\alpha =Ax=By$
  • 代入B=AC
  • $\alpha =ACy$
  • 可见$\alpha =Ax=ACy=A(Cy)$
    • 而$\alpha$在$\Phi$下的表示唯一,所以$x=Cy$
    • 也可以从$Ax=\alpha$具有唯一解的角度理解(方阵A是可逆的,$Ax=\alpha$解是唯一的),$x,Cy$都是$Ax=\alpha$的解,说明$c=Cy$

• $x=Cy$也可以作$y=C^{-1}x$它们被称为基坐标变换公式

n维向量空间$R^n$

• n维向量全体集合${\mathbb{R}}^n$可构成的向量空间V

  • 用数学语言描述只有第i个元素不为0的情况。一种可能的方法是使用克罗内克符号，它是一个二元函数，定义为：

    • 记${ϵ}_i$表示把零向量的第i个元素改为1后的向量,通常取列向量;它的其他描述方法:

    • ${ϵ}_i=({\delta }_{i1},{\delta }_{i2},\cdots ,{\delta }_{in}{)}^T$

      • $${\delta }_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$

    • ${ϵ}_i=(a_1,\cdots ,a_n{)}^T$

      • $$a_j=\{\begin{array}{ll}1,& j=i\\ 0,& j\ne i\end{array}j=1,\cdots ,n$$

  • V的一组基可以是基本向量组${ϵ}_1,\cdots ,{ϵ}_n$

  • ${\mathbb{R}}^n$含有n个基向量,称${\mathbb{R}}^n$为n维向量空间

  • 例如

    • $R^3$的子集U={α=(a1,a2,0)T∣a1,a2∈R}U=\{\alpha=(a_1,a_2,0)^T|a_1,a_2\in{R}\}U={α=(a1​,a2​,0)T∣a1​,a2​∈R}
      • 从几何的角度看,是空间直角坐标系中$xOy$平面上的全体向量构成的
      • 且${ϵ}_1=(1,0,0{)}^T,{ϵ}_2=(0,1,0)$可以表示U内的任意向量($\varphi ={ϵ}_1,{ϵ}_2$是U的一组基)
      • $\varphi$包含2个线性无关向量,因此U的维数为2,记为$\dim U=2$

  • 只含有零向量的集合{0}\{0\}{0}称为零向量空间

    • 它没有基(基包含0个向量),规定其维数为0

子空间

• 设$U$是$R^n$的一个非空子集,如果$U$也构成向量空间,则称U为$R^n$的子空间
  • $R^n$的子空间内的向量维数也是n(否则不构成子集关系)
  • {0}和$R^n$自身都是$R^n$的子空间,称它们为$R^n$的平凡子空间,其余子空间称为非平凡子空间
• 注意区分n维向量空间$R^n$和n维向量空间的子空间$U^n$,它们的共同点在于元素都是n维的向量

例

• 设矩阵$A\in {\mathbb{R}}^{m\times n}$齐次线性方程$Ax=0$的解集S={ξ∣Aξ=0,ξ∈Rn}S=\{\xi|A\xi=0,\xi\in\mathbb{R}^n \}S={ξ∣Aξ=0,ξ∈Rn},证明S是$R^n$的子空间
• 证明
  • 因为$A\xi =0$至少又零解$A0=0$,所以$S\ne \varnothing$
    • 如果$A\xi =0$只有零解,那么S是零空间向量{0}\{0\}{0},它是$R^n$的一个(平凡)子空间
  • 如果$A\xi =0$存在非零解,那么S含有无穷多个向量
    • 对于任意的${\xi }_1,{\xi }_2\in S,k\in R$,根据线性方程组解的性质,可知
      • $\xi ={\xi }_1+{\xi }_2$,$\eta =k{\xi }_1$依然是$A\xi =0$的解,即$\xi ,\eta \in S$
    • 从而$S$是一个向量空间(S中的元素都是n维向量)
    • 又因为$S$显然是$R^n$的一个子集,所以S是$R^n$的子空间

线性组合与线性方程组

• 如果A是方阵,其逆矩阵 $A^{-1}$ 存在，那么式 $Ax=b$ 肯定对于每一个向量 $b$ 恰好存在一个解。

• 但是，对于一般的方程组而言(A不一定是方阵)，对于向量 b 的某些值，有可能不存在解，或者存在无限多个解两,或者存在唯一解。

  • 存在多于一个解(是少2个)但是少于无限多个解(解的数量有限而不是无穷大)的情况是不可能发生的；

  • 因为如果 x 和y 都是某方程组的解($Ax=b,Ay=b)$，则

    • $$z=\alpha x+\beta y,其中\alpha +\beta =1$$

      • 对于任意$\alpha \in R$,$z$肯定也是$Ax=b$的解,因为:

      • $$Az=\alpha Ax+\beta Ay=\alpha b+\beta b=(\alpha +\beta )b=b$$

• 为了分析方程有多少个解，我们可以将 A 的列向量看作从 原点（origin）（元素都是零的向量,对于n维向量,可以理解为n维点,例如三维空间原点(0,0,0))出发的不同方向(用$A$的一个列向量来对应表示一个方向)，确定有多少种方法可以到达向量 $b$。

  • 设$A\in {\mathbb{R}}^{m\times n}$,则$x\in {\mathbb{R}}^n$,也即是说A可以看成由n个列向量构成的矩阵(用${\alpha }_i$表示第i个方向)

    • $A=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)$

    • $$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$$

  • 解向量 $x$ 中的每个元素$x_i$表示应该沿着方向${\alpha }_i$走多的距离为 $x_i$

  • 将这些步骤效果叠加:

    • $$Ax=\sum _{i=1}^n{\alpha }_i{x}_i=b$$

    • 这种操作称为向量组的线性组合(向量$b$用矩阵A的列向量组线性表出,表出系数为向量$x$)

      • 其中${\alpha }_i$是向量,$x_i$是标量

    • 而$Ax=b$的线性方程组展开

      • 是从矩阵乘积的结果$b$(或解向量$x$)的逐个分量的角度描述.

      • $$\begin{gathered} Ax=\sum _{i=1}^m{\beta }_{i}x=b \\ \{\begin{array}{rl}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n& =b_1,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n& =b_2,\\ ⋮& \\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n& =b_n\end{array} \end{gathered}$$

        • 其中${\beta }_i$是矩阵A的第i个行向量(分块),$x$是解向量

生成子空间@深度学习

• 一组向量的 生成子空间（span）是原始向量线性组合后所能抵达的结果的集合。

• 确定 $Ax=b$ 是否有解相当于确定向量 b 是否在 A 列向量的生成子空间中。

  • $A\in {\mathbb{R}}^{m\times n}$
  • $x\in {\mathbb{R}}^{n\times 1}$
  • $b\in {\mathbb{R}}^{m\times 1}$

• A向量组的生成子空间被称为 A 的 列空间（column space）或者 A 的 值域（range）。

• 为了使方程 $Ax=b$ 对于任意向量 $b\in {\mathbb{R}}^m$ 都存在解，我们要求 A 的列空间构成整个 ${\mathbb{R}}^m$。

  • 这意味者b一定会落在A的列空间

• 如果 ${\mathbb{R}}^m$ 中的某个点不在 A 的列空间中(向量b无法被矩阵A线性表出)，那么该点对应的 b 会使得该方程没有解。

• 矩阵 A 的列空间是整个 ${\mathbb{R}}^m$ 的要求，意味着 A 至少有 m 列，即

  • $n⩾m$。否则，A 列空间的维数会小于 m。
    • 例如，假设 A 是一个 3 × 2 的矩阵。目标 b 是 3 维的，但是 x 只有 2 维。
    • 所以无论如何修改二维向量 $x$ 的值，也只能描绘出 ${\mathbb{R}}^3$ 空间中的二维平面,当且仅当向量 b 在该二维平面中时，该方程有解。
  • $n⩾m$仅是方程对每一点都有解的必要条件。这不是一个充分条件，因为有些列向量可能是冗余的。
    • 假设有一个 ${\mathbb{R}}^{2\times 2}$ 中的矩阵，它的两个列向量是相同的。
    • 那么它的列空间和它的一个列向量作为矩阵时的列空间是一样的。
    • 换言之，虽然该矩阵有 2 列，但是它的列空间仍然只是一条线(只能描述某个方向)，不能涵盖整个 ${\mathbb{R}}^2$ 空间。