碎碎念

好久不更新,四月重新开始!

线性代数 07

subspace & basis

subspace不严格的讲法可以当做是一个向量空间的子集。严格一点,我们的定义是这样的。一个向量子空间是一组向量,满足三个特征:

  1. 零向量属于这个向量组
  2. 该向量组内的两个向量\(u\)\(v\)的线性组合也属于改向量组。
  3. 该向量组内的向量\(u\)乘以一个常数\(c\)\(cu\)也属于该向量组。

举个例子,比如我们现在有一个向量组\(W\)属于\(\mathbb{R}^3\),且满足\(6w_1 - 5w_2 + 4w_3 = 0\)。那么\(W\)是不是\(\mathbb{R}^3\)的一个向量子空间呢?我们按照三个特征一一过一下。

首先,零向量是不是属于这个向量组?很明显是的,让\(w_1 = w_2 = w_3 = 0\)等式成立。

然后我们看,如果现在有\(u\)\(v\)属于\(W\),那么\(u+v = \begin{bmatrix} u_1 + v_1 &u_2 + v_2 &u_3 + v_3 \end{bmatrix} ^\top\)。那么实际上\(6(u_1 + v_1) - 5(u_2+v_2) + 4(u_3 + v_3) = 0\),因此第二条也满足。

最后一条,其实也非常显而易见,把\(c\)提出来就可以了。

那subspace里面有一个比较特殊的类型,叫做null space。null space其实就是矩阵\(A\)关于\(Ax = 0\)的解。对于一个\(m \times n\)的矩阵\(A\),一般我们会记做:\(\text{Null} \; A = \{v \in \mathbb{R}^n : Av=0\}\)。那null space一定会是\(\mathbb{R}^n\)的向量子空间。

而basis,也就是基也是特殊的一种subspace。基有三个特性:

  1. 基是最小的生成集
  2. 基是最大的线性无关向量集合
  3. 向量空间中的向量都按唯一的表达为基的线性组合。也就是说,通过基的线性组合,可以表达向量空间中所有的向量,且都是唯一的表达。

第一个特性是很直觉的一件事情,假设我们现在有一个向量子空间\(V\),而\(S = \{u_1, u_2, \cdots, u_k \}\)\(V\)的一个generation set。现在假设\(A = [u_1, u_2, \cdots, u_k]\),而\(\text{Col }A = \text{Span} \{u_1, u_2, \cdots, u_k \}\),因为\(A\)的pivot column会是\(\text{Col }A\)的basis,而且很显然会是\(V\)的basis,也会是\(S\)的subset。

第二个特性也是一个很直觉的事情,假设有个subspace \(V\),现在给定一个线性无关的集合\(S\),那么就存在两种情况,第一种,\(\text{Span }S\)就是\(V\),那么\(S\)就是\(V\)的basis。第二种,存在一个向量\(v_1\)不在\(\text{Span }S\)里面,那么\(S \cup \{v_1\}\)就是一个新的线性无关集合,然后又回到前面的两种情况。如此不断循环下去,最后就会发现,basis刚好就是最大的线性无关集合。

第三个特性就更加直觉了,basis我们可以认为是dimension,那就非常直觉了,再一个坐标系内,每一个向量都可以用坐标来唯一表示。

回顾一下,向量空间(vector space),列空间(column space),零空间(null space),行空间(row space),子空间(subspace)等等这些概念之间是什么关系?

首先是向量空间,顾名思义,就是向量所在的空间。向量的线性组合,数乘都在这个空间内。

而向量子空间还要包含零向量,其余和向量空间一样。也就是说,向量子空间是属于向量空间的。

然后是列空间,矩阵中所有列组成的向量空间就叫做列空间。相应的,行空间就是所有行组成的空间。

零空间是\(Ax=0\)的所有解的集合。也叫作核。

现在我们看这些概念之间的关系。其实都是一些非常直觉的关系。

  1. 矩阵\(A\)的列空间\(\text{Col } A\)的维度就是\(A\)的pivot column,也就是\(\text{rank }A\)
  2. \(\text{Dim}(\text{Null } A) = n - \text{rank }A\)
  3. \(\text{Dim}(\text{Row } A) = \text{rank }A\),也就是\(A\)的RREF下,非零的行

那上面的这些特性,又会让我们知道\(\text{rank }A = \text{rank } A^{\top}\)