线性代数 07

subspace & basis

subspace不严格的讲法可以当做是一个向量空间的子集。严格一点，我们的定义是这样的。一个向量子空间是一组向量，满足三个特征：

零向量属于这个向量组
该向量组内的两个向量 $u$ 和 $v$ 的线性组合也属于改向量组。
该向量组内的向量 $u$ 乘以一个常数 $c$ ， $cu$ 也属于该向量组。

举个例子，比如我们现在有一个向量组 $W$ 属于 $\mathbb{R}^3$ ，且满足 $6w_1 - 5w_2 + 4w_3 = 0$ 。那么 $W$ 是不是 $\mathbb{R}^3$ 的一个向量子空间呢？我们按照三个特征一一过一下。

首先，零向量是不是属于这个向量组？很明显是的，让 $w_1 = w_2 = w_3 = 0$ 等式成立。

然后我们看，如果现在有 $u$ ， $v$ 属于 $W$ ，那么 $u+v = \begin{bmatrix} u_1 + v_1 &u_2 + v_2 &u_3 + v_3 \end{bmatrix} ^\top$ 。那么实际上 $6(u_1 + v_1) - 5(u_2+v_2) + 4(u_3 + v_3) = 0$ ，因此第二条也满足。

最后一条，其实也非常显而易见，把 $c$ 提出来就可以了。

那subspace里面有一个比较特殊的类型，叫做null space。null space其实就是矩阵 $A$ 关于 $Ax = 0$ 的解。对于一个 $m \times n$ 的矩阵 $A$ ，一般我们会记做： $\text{Null} \; A = \{v \in \mathbb{R}^n ： Av=0\}$ 。那null space一定会是 $\mathbb{R}^n$ 的向量子空间。

而basis，也就是基也是特殊的一种subspace。基有三个特性：

基是最小的生成集
基是最大的线性无关向量集合
向量空间中的向量都按唯一的表达为基的线性组合。也就是说，通过基的线性组合，可以表达向量空间中所有的向量，且都是唯一的表达。

第一个特性是很直觉的一件事情，假设我们现在有一个向量子空间 $V$ ，而 $S = \{u_1, u_2, \cdots, u_k \}$ 是 $V$ 的一个generation set。现在假设 $A = [u_1, u_2, \cdots, u_k]$ ，而 $\text{Col }A = \text{Span} \{u_1, u_2, \cdots, u_k \}$ ，因为 $A$ 的pivot column会是 $\text{Col }A$ 的basis，而且很显然会是 $V$ 的basis，也会是 $S$ 的subset。

第二个特性也是一个很直觉的事情，假设有个subspace $V$ ，现在给定一个线性无关的集合 $S$ ，那么就存在两种情况，第一种， $\text{Span }S$ 就是 $V$ ，那么 $S$ 就是 $V$ 的basis。第二种，存在一个向量 $v_1$ 不在 $\text{Span }S$ 里面，那么 $S \cup \{v_1\}$ 就是一个新的线性无关集合，然后又回到前面的两种情况。如此不断循环下去，最后就会发现，basis刚好就是最大的线性无关集合。

第三个特性就更加直觉了，basis我们可以认为是dimension，那就非常直觉了，再一个坐标系内，每一个向量都可以用坐标来唯一表示。

回顾一下，向量空间（vector space），列空间（column space），零空间（null space），行空间（row space），子空间（subspace）等等这些概念之间是什么关系？

首先是向量空间，顾名思义，就是向量所在的空间。向量的线性组合，数乘都在这个空间内。

而向量子空间还要包含零向量，其余和向量空间一样。也就是说，向量子空间是属于向量空间的。

然后是列空间，矩阵中所有列组成的向量空间就叫做列空间。相应的，行空间就是所有行组成的空间。

零空间是 $Ax=0$ 的所有解的集合。也叫作核。

现在我们看这些概念之间的关系。其实都是一些非常直觉的关系。

矩阵 $A$ 的列空间 $\text{Col } A$ 的维度就是 $A$ 的pivot column，也就是 $\text{rank }A$ 。
$\text{Dim}(\text{Null } A) = n - \text{rank }A$
$\text{Dim}(\text{Row } A) = \text{rank }A$ ，也就是 $A$ 的RREF下，非零的行

那上面的这些特性，又会让我们知道 $\text{rank }A = \text{rank } A^{\top}$ 。