7.2 奇异值分解的基与矩阵

一、奇异值分解

奇异值分解（SVD）是线性代数的高光时刻。$A$ 是一个 $m\times n$ 的矩阵，可以是方阵或者长方形矩阵，秩为 $r$。我们要对角化 $A$，但并不是把它化成 $X^{-1}AX$ 的形式。这是因为 $X$ 中的特征向量有三个大问题：它们通常并不正交，并不总是有足够数量的特征向量，并且 $A\mathbf{x}=\lambda \mathbf{x}$ 要求 $A$ 是方阵。$A$ 的奇异值向量（Singular vectors）完美的解决了这些问题。
由 SVD 我们可以得到：四个基本子空间合适的基。下面是按照基向量的重要性顺序，来求得这些基向量的步骤。
我们需要有两组奇异值向量 ${\mathbf{u}}_i$ 和 ${\mathbf{v}}_i$，其中 ${\mathbf{u}}_i$ 在 ${\text{R}}^m$ 中， ${\mathbf{v}}_i$ 在 ${\text{R}}^n$ 中，它们将分别是 $m\times m$ 的矩阵 $U$ 和 $n\times n$ 的矩阵 $V$ 的列。下面会先根据这些基向量来描述 SVD，然后再根据正交矩阵 $U$ 和 $V$ 来描述 SVD。其基本思想是，在行空间中找到一组基标准交向量 ${\mathbf{v}}_i$，然后通过 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 映射到列空间中的 ${\mathbf{u}}_i$，我们的目标是 ${\mathbf{v}}_i$ 是特殊的标准正交向量，映射到 ${\mathbf{u}}_i$ 也是标准正交。
（向量角度） ${\mathbf{u}}_i$ 和 ${\mathbf{v}}_j$ 给出了 $A$ 的四个基本子空间的基：

$\begin{array}{ll}{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_r& 是列空间的标准正交基\\ {\mathbf{u}}_{r+1},{\mathbf{u}}_{r+2},\cdots ,{\mathbf{u}}_m& 是左零空间N(A^T)的标准正交基\\ {\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_r& 是行空间的标准正交基\\ {\mathbf{v}}_{r+1},{\mathbf{v}}_{r+2},\cdots ,{\mathbf{v}}_n& 是零空间N(A)的标准正交基\end{array}$

这些基向量不仅正交，而且可以对角化矩阵 $A$：

“对角化 $A$” \kern 20pt $A{\mathbf{v}}_1={\sigma }_1{\mathbf{u}}_1,A{\mathbf{v}}_2={\sigma }_2{\mathbf{u}}_2,\cdots ,A{\mathbf{v}}_r={\sigma }_r{\mathbf{u}}_r(\mathrm{7.2.1})$

这些奇异值 ${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r$ 都是正数，${\sigma }_i$ 是 $A{\mathbf{v}}_i$ 的长度。对角矩阵 $\Sigma$ 的对角元素除了奇异值 ${\sigma }_i$ 外都是零。
（矩阵角度）由于 ${\mathbf{u}}_i$ 是标准正交的，所以由 $r$ 个列向量组成的矩阵 $U_r$ 有 $U_r^T{U}_r=I$，而 ${\mathbf{v}}_i$ 也是标准正交的，所以矩阵 $V_r$ 有 $V_r^T{V}_r=I$。则由方程 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 推出 $A{V}_r=U_r{\Sigma }_r$ 的各列成立：$$\begin{array}{l}(m\times n)(n\times r)\\ A{V}_r=U_r{\Sigma }_r\\ (m\times r)(r\times r)\end{array}A\left[\begin{array}{cccc}{\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_r\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_r\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right](\mathrm{7.2.2})$$这个是 SVD 的核心，但是 SVD 并不是只有这些内容。这些 ${\mathbf{v}}_i$ 和 ${\mathbf{u}}_i$ 可以生成 $A$ 的行空间和列空间，还可以从零空间 $N(A)$ 和左零空间 $N(A^T)$ 得到 $n-r$ 个 ${\mathbf{v}}_j$ 和 $m-r$ 个 ${\mathbf{u}}_i$，它们也和前面的 ${\mathbf{v}}_i$ 和 ${\mathbf{u}}_i$ 正交（这是因为四个基本子空间配对正交）。我们现在在 $V$ 和 $U$ 中包含所有的 ${\mathbf{v}}_j$ 和 ${\mathbf{u}}_i$，这两个矩阵就变成了方阵，仍然有 $AV=U\Sigma$。$$\begin{array}{l}(m\times n)(n\times n)\\ AV=U\Sigma \\ (m\times m)(m\times n)\end{array}A\left[\begin{array}{ccccc}{\mathbf{v}}_1& \cdots & {\mathbf{v}}_r& \cdots & {\mathbf{v}}_n\end{array}\right]=\left[\begin{array}{ccccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_r& \cdots & {\mathbf{u}}_m\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\\ & & & \end{array}\right](\mathrm{7.2.3})$$新的 $\Sigma$ 是 $m\times n$ 的矩阵，它是（7.3.2）中的 $r\times r$ 矩阵下面添加 $m-r$ 个零行，右侧添加 $n-r$ 个零列。真正的变化是 $U$ 和 $V$ 的形状，它们变成了方阵，并且有 $V^{-1}=V^T$，所以 $AV=U\Sigma$ 就变成了 $A=U\Sigma V^T$，这个就是奇异值分解（Singular Value Decompositon），可以用 $U\Sigma$ 中的列 ${\mathbf{u}}_i{\sigma }_i$ 乘上 $V^T$ 的行：

SVD$A=U\Sigma V^T={\mathbf{u}}_1{\sigma }_1{\mathbf{v}}_1^T+{\mathbf{u}}_2{\sigma }_2{\mathbf{v}}_2^T+\cdots +{\mathbf{u}}_r{\sigma }_r{\mathbf{v}}_r^T(\mathrm{7.2.4})$

式（7.3.2）是 “缩略版的 SVD（reduced SVD）”，它只包含行空间和列空间的基，式（7.3.3）是完整版的 SVD，它将零空间的基也包含了进去。这两个式子都是将 $A$ 分解成同样的 $r$ 个秩一矩阵 ${\mathbf{u}}_i{\sigma }_r{\mathbf{v}}_i^T$ 的和。列乘行是矩阵乘法的第四种方式。
我们后面能够看到每个 ${\sigma }_i^2$ 既是 $A^{T}A$ 的特征值，也是 $A{A}^T$ 的特征值。我们将奇异值按照降序排列：${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$，式（7.2.4）中的分解就是按照重要性顺序得到的 $A$ 的 $r$ 个秩一项，这一点非常重要。

【例1】什么时候 $A=U\Sigma V^T$（奇异值）和 $X\Lambda X^{-1}$ 相同（特征值）？
解： $A$ 的特征向量需要标准正交，才有 $X=U=V$，如果 $A=\Sigma$，也需要特征值 $\lambda \ge 0$，所以 $A$ 必须是一个半正定（或正定）的对称矩阵。只有这样，才会有 $A=X\Lambda X^{-1}$，就是 $Q\Lambda Q^T$ 和 $A=U\Sigma V^T$ 一致。

【例2】如果 $A=\mathbf{x}{\mathbf{y}}^T$（秩一），其中 $\mathbf{x}$ 和 $\mathbf{y}$ 都是单位向量，那么 $A$ 的 SVD 是什么？
解： 式（7.2.2）中缩略版的 SVD 就是 $\mathbf{x}{\mathbf{y}}^T$，秩为 $r=1$，其中 ${\mathbf{u}}_1=\mathbf{x}$，${\mathbf{v}}_1=\mathbf{y}$ 且 ${\sigma }_1=1$。完全版的 SVD，要将 ${\mathbf{u}}_1=\mathbf{x}$ 扩充为标准正交基 ${\mathbf{u}}_i$，然后将 ${\mathbf{v}}_1=\mathbf{y}$ 扩充为标准正交基 ${\mathbf{v}}_j$，没有新的 $\sigma$，只有一个 ${\sigma }_1=1$。

二、SVD 的证明

我们需要知道这令人惊叹的 ${\mathbf{u}}_i$ 和 ${\mathbf{v}}_j$ 是如何构造出来的。${\mathbf{v}}_j$ 是 $A^{T}A$ 的特征向量，这个一定是正确的，因为我们的目标是：$$A^{T}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T(\mathrm{7.2.5})$$右侧包含了对称（半）正定矩阵 $A^{T}A$ 的特征向量矩阵 $V$，并且 $({\Sigma }^T\Sigma )$ 是 $(A^{T}A)$ 的特征值矩阵：每个 ${\sigma }^2$ 就是 $(A^{T}A)$ 特征值 $\lambda (A^{T}A)$！
现在由 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 可以得到单位向量 ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_r$，这就是关键的式（7.2.1），核心点，也就是 SVD 成功的全部原因，是这些单位向量 ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_r$ 一定是两两正交（因为 ${\mathbf{v}}_i$ 是正交的）：$$\begin{array}{c}关键步骤\\ i\ne j\end{array}{\mathbf{u}}_i^T{\mathbf{u}}_j=(\frac{A{\mathbf{v}}_i}{{\sigma }_i}{)}^T(\frac{A{\mathbf{v}}_j}{{\sigma }_j})=\frac{{\mathbf{v}}_i^T{A}^{T}A{\mathbf{v}}_j}{{\sigma }_i{\sigma }_j}=\frac{{\sigma }_j^2}{{\sigma }_i{\sigma }_j}{\mathbf{v}}_i^T{\mathbf{v}}_j=0(\mathrm{7.2.6})$$${\mathbf{v}}_i$ 是 $A^{T}A$（对称）的特征向量，它们是正交的并且得到 ${\mathbf{u}}_i$ 也是正交的。实际上 ${\mathbf{u}}_i$ 是 $A{A}^T$ 的特征向量。
最终，在 ${\mathbf{v}}_j$ 和 ${\mathbf{u}}_i$ 的基础上分别构造出了零空间 $N(A)$ 和 左零空间 $N(A^T)$ 的标准正交基，得到 $n$ 个 ${\mathbf{v}}_j$ 和 $m$ 个 ${\mathbf{u}}_i$，得到 $A=U\Sigma V^T$ 中的 $V,\Sigma$ 和 $U$。

三、SVD 的一个例子

下例演示了 $A=U\Sigma V^T$ 中全部三个矩阵的计算过程。

【例3】矩阵 $A=\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]$，秩为 $r=2$，求出对应的矩阵 $U,\Sigma ,V$。
解： 由于秩 $r=2$，所以 $A$ 有两个正的奇异值 ${\sigma }_1$ 和 ${\sigma }_2$，下面会看到 ${\sigma }_1$ 比特征值 ${\lambda }_{max}=5$ 更大，${\sigma }_2$ 比特征值 ${\lambda }_{min}=3$ 要更小，先从 $A^{T}A$ 和 $A{A}^T$ 开始：$$A^{T}A=\left[\begin{array}{cc}25& 20\\ 20& 25\end{array}\right]A{A}^T=\left[\begin{array}{cc}9& 12\\ 12& 41\end{array}\right]$$它们有相同的迹 $(50)$ 和相同的特征值 ${\sigma }_1^2=45$ 和 ${\sigma }_2^2=5$，取算术平方根得 ${\sigma }_1=\sqrt{45}$ 和 ${\sigma }_2=\sqrt{5}$，则 ${\sigma }_1{\sigma }_2=15$，也就是 $A$ 的行列式。
关键步骤是求 $A^{T}A$ 的特征向量（分别对应特征值 $45$ 和 $5$）：$$\left[\begin{array}{cc}25& 20\\ 20& 25\end{array}\right]\left[\begin{array}{c}1\\ 1\end{array}\right]=45\left[\begin{array}{c}1\\ 1\end{array}\right]\left[\begin{array}{cc}25& 20\\ 20& 25\end{array}\right]\left[\begin{array}{c}-1\\ 1\end{array}\right]=5\left[\begin{array}{c}-1\\ 1\end{array}\right]$$然后将这些正交特征向量单位化，都除以 $\sqrt{2}$，即得到 ${\mathbf{v}}_1$ 和 ${\mathbf{v}}_2$。$$右奇异向量{\mathbf{v}}_1=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ 1\end{array}\right]{\mathbf{v}}_2=\frac{1}{\sqrt{2}}\left[\begin{array}{c}-1\\ 1\end{array}\right]左奇异向量{\mathbf{u}}_i=\frac{A{\mathbf{v}}_i}{{\sigma }_i}$$现在计算 $A{\mathbf{v}}_1$ 和 $A{\mathbf{v}}_2$，它们分别是 ${\sigma }_1{\mathbf{u}}_1=\sqrt{45}{\mathbf{u}}_1$ 和 ${\sigma }_2{\mathbf{u}}_2=\sqrt{5}{\mathbf{u}}_2$：$$\begin{array}{l}A{\mathbf{v}}_1=\frac{3}{\sqrt{2}}\left[\begin{array}{c}1\\ 3\end{array}\right]=\sqrt{45}\frac{1}{\sqrt{10}}\left[\begin{array}{c}1\\ 3\end{array}\right]={\sigma }_1{\mathbf{u}}_1\\ \\ A{\mathbf{v}}_2=\frac{1}{\sqrt{2}}\left[\begin{array}{c}-3\\ 1\end{array}\right]=\sqrt{5}\frac{1}{\sqrt{10}}\left[\begin{array}{c}-3\\ 1\end{array}\right]={\sigma }_2{\mathbf{u}}_2\end{array}$$除以 $\sqrt{10}$ 使得 ${\mathbf{u}}_1$ 和 ${\mathbf{u}}_2$ 标准正交，然后可以得到预期的 ${\sigma }_1=\sqrt{45}$ 和 ${\sigma }_2=\sqrt{5}$。$A$ 的奇异值分解就是 $U\Sigma V^T$。

$$U=\frac{1}{\sqrt{10}}\left[\begin{array}{cc}1& -3\\ 3& 1\end{array}\right]\Sigma =\left[\begin{array}{cc}\sqrt{45}& \\ & \sqrt{5}\end{array}\right]V=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& -1\\ 1& 1\end{array}\right](\mathrm{7.2.7})$$

$U$ 和 $V$ 包含列空间和行空间（两个空间都是 ${\text{R}}^2$）的标准正交基。真正要做的是使用两组基对角化 $A$：$AV=U\Sigma$。矩阵 $A$ 分解成了两个秩一矩阵（列乘行）的组合：$${\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^T=\frac{\sqrt{45}}{\sqrt{20}}\left[\begin{array}{cc}1& 1\\ 3& 3\end{array}\right]+\frac{\sqrt{5}}{\sqrt{20}}\left[\begin{array}{cc}3& -3\\ -1& 1\end{array}\right]=\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]=A$$

四、一个极端的矩阵

下面是一个阶数更大的矩阵的例子，它的 ${\mathbf{u}}_i$ 和 ${\mathbf{v}}_i$ 都是单位矩阵的列，所以计算很简单，但是要注意列的顺序。矩阵 $A$ 非常的不平衡（它是一个严格的三角形矩阵），它所有的特征值都为零，$A{A}^T$ 和 $A^{T}A$ 并不接近，矩阵 $U$ 和 $V$ 是置换矩阵可以弥补这些问题。 $$A=\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 3\\ 0& 0& 0& 0\end{array}\right]\begin{array}{l}特征值\lambda =0,0,0,0全是零！\\ 只有一个特征向量(1,0,0,0)\\ 奇异值\sigma =3,2,1\\ 奇异向量是I的列\end{array}$$$A^{T}A$ 和 $A{A}^T$ 都是对角矩阵（有简单的特征向量，但是顺序不同）：$$A^{T}A=\left[\begin{array}{cccc}0& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 4& 0\\ 0& 0& 0& 9\end{array}\right]A{A}^T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 4& 0& 0\\ 0& 0& 9& 0\\ 0& 0& 0& 0\end{array}\right]$$它们的特征向量（${\mathbf{u}}_i$ 对应 $A{A}^T$，${\mathbf{v}}_i$ 对应 $A^{T}A$）按照特征值减小的顺序 ${\sigma }_1^2>{\sigma }_2^2>{\sigma }_3^2$ 排列，这些特征值是 $9,4,1$。$$U=\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 1& 0& 0\\ 1& 0& 0& 0\\ 0& 0& 0& 1\end{array}\right]\Sigma =\left[\begin{array}{cccc}3& & & \\ & 2& & \\ & & 1& \\ & & & 0\end{array}\right]V=\left[\begin{array}{cccc}0& 0& 0& 1\\ 0& 0& 1& 0\\ 0& 1& 0& 0\\ 1& 0& 0& 0\end{array}\right]$$$U$ 和 $V$ 的第一列 ${\mathbf{u}}_1$ 和 ${\mathbf{v}}_1$ 的分量 $1$ 在第 $3$ 位和第 $4$ 位，则 ${\mathbf{u}}_1{\sigma }_1{\mathbf{v}}_1^T$ 就表示矩阵 $A$ 中最大的数 $A_{34}$，对于这个极端的例子，SVD 的三个秩一矩阵恰好来自于 $A$ 中的数字 $3,2,1$。

$$A=U\Sigma V^T=3{\mathbf{u}}_1{\mathbf{v}}_1^T+2{\mathbf{u}}_2{\mathbf{v}}_2^T+1{\mathbf{u}}_3{\mathbf{v}}_3^T$$

注：假设将 $A$ 的最后一行（全零行）去掉，则 $A$ 是一个 $3\times 4$ 的矩阵，$A{A}^T$ 是 $3\times 3$ 的矩阵 —— 它的第四行和第四列都会消失，$A^{T}A$ 和 $A{A}^T$ 的特征值仍然是 $\lambda =1,4,9$，也会在 $\Sigma$ 中得到相同的奇异值 $\sigma =3,2,1$。
$A$ 的最后一行的全零行移除后，现在变成了 $3\times 4$ 的矩阵，也会移除 $\Sigma$ 的最后一行和 $U$ 的最后一列。则 $(3\times 4)=U\Sigma V^T=(3\times 3)(3\times 4)(4\times 4)$，SVD 完全适用于长方形矩阵。
一件好的事情是，由于矩阵 $A$ 的行和列经常有完全不同的含义（如电子表格），如果要统计所有课程的成绩，那么可以用各列表示每个学生的情况，而各行表示每个课程的情况：则元素 $a_{ij}$ 就表示成绩。那么 ${\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T$ 中，${\mathbf{u}}_1=$ 课程组合，${\mathbf{v}}_1=$ 学生组合，而 ${\sigma }_1$ 就是这些组合的成绩：最高成绩。
矩阵 $A$ 也可以对一本杂志中关键词的出现频率计数：$A$ 的列是不同的文章，每一行代表不同的词，那么 $A$ 就是整个杂志的索引，其中最重要的信息就是 ${\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T$，${\sigma }_1$ 就是高频词 ${\mathbf{u}}_1$ 在高频文章 ${\mathbf{v}}_1$ 出现的最高的频率。

五、奇异值的稳定性对比特征值的不稳定性

通过 $4\times 4$ 的矩阵 $A$ 这个例子（一个极端情况）我们可以构造出一个特征值不稳定的例子。假设 $(4,1)$ 元素从零变为 $1/60000$，这个几乎没有变化，秩变成了 $4$。$$A=\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 3\\ \frac{1}{60000}& 0& 0& 0\end{array}\right]\begin{array}{l}仅仅是1/60000的微小改变，A\\ 的特征值就发生了很大的变化：\\ \lambda =0,0,0,0变为了\lambda =\frac{1}{10},\frac{i}{10},\frac{-1}{10},\frac{-i}{10}\end{array}$$新元素仅仅变化了 $1/60000$，四个特征值就从零变化到了在复平面上以原点为圆心，半径为 $\frac{1}{10}$ 的圆上，这表明当 $A^{T}A$ 远离 $A{A}^T$ 时特征值严重的不稳定性，在另外的极端情况下，如果 $A^{T}A=A{A}^T$（“正规矩阵”），那么 $A$ 的特征向量正交且 $A$ 的特征值完全稳定。
对比之下，任意矩阵的奇异值都是稳定的，它们不会超过 $A$ 的变化。在这个例子中，新的奇异值是 $3,2,1$ 和 $1/60000$，矩阵 $U$ 和 $V$ 保持不变，$A$ 的 SVD 中的第四项是 ${\sigma }_4{\mathbf{u}}_4{\mathbf{v}}_4^T$，它有十五个零元素和一个小的元素 ${\sigma }_4=1/60000$。

六、A 的奇异向量和 $S=A^{T}A$ 的特征向量

式（7.2.5-7.2.6）同时证明了 SVD，奇异向量 ${\mathbf{v}}_i$ 是 $S=A^{T}A$ 的特征向量 ${\mathbf{q}}_i$。$S$ 的特征值 ${\lambda }_i$ 和 $A$ 相应的奇异值的平方 ${\sigma }_i^2$ 相等，$S$ 的秩 $r$ 等于 $A$ 的秩。特征向量和奇异向量的展开式是完美对应的。

$$\begin{array}{l}对称矩阵SS=Q\Lambda Q^T={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1^T+{\lambda }_2{\mathbf{q}}_2{\mathbf{q}}_2^T+\cdots +{\lambda }_r{\mathbf{q}}_r{\mathbf{q}}_r^T\\ 任意矩阵AA=U\Sigma V^T={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T\end{array}$$

各个 ${\mathbf{q}}_i$ 是正交的，各个 ${\mathbf{u}}_i$ 是正交的，各个 ${\mathbf{v}}_i$ 也是正交的，非常漂亮！
但是还要更深入理解，有以下两个原因：其一是要弥补特征值部分的短板， 如果 $\lambda$ 是 $S$ 的二重特征值，我们能够且一定可以找出两个标准正交的向量。另一个原因是要明白 SVD 是如何选出在 ${\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^T$ 之前的最大项 ${\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T$。需要理解的是 $S$ 的特征值 $\lambda$ 和 $A$ 的奇异值 $\sigma$，而不只是求出它们。
从 $S$ 最大的特征值 ${\lambda }_1$ 开始，它解决了下面的这个问题：

${\lambda }_1=\text{max}\frac{{\mathbf{x}}^{T}S\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$，这个向量是 $\mathbf{x}={\mathbf{q}}_1$，且 $S{\mathbf{q}}_1={\lambda }_1{\mathbf{q}}_1$(7.2.8)
  \,
对比 $A$ 最大的奇异值 ${\sigma }_1$，它解决的这个问题是：
${\sigma }_1=\max \frac{||A\mathbf{x}||}{||\mathbf{x}||}$，这个向量是 $\mathbf{x}={\mathbf{v}}_1$ 且 $A{\mathbf{v}}_1={\sigma }_1{\mathbf{u}}_1$（7.2.9）

从式（7.2.8）可以推出（7.2.9），由于 $S=A^{T}A$，所以 $\frac{{\mathbf{x}}^{T}S\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}=\frac{{\mathbf{x}}^T{A}^{T}A\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}=\frac{(A\mathbf{x}{)}^T(A\mathbf{x})}{{\mathbf{x}}^T\mathbf{x}}=\frac{||A\mathbf{x}|{|}^2}{||\mathbf{x}|{|}^2}={\sigma }^2$。
这个一次找到一个值的方法也可以适用于 ${\lambda }_2$ 和 ${\sigma }_2$，但是并不是任意的 $\mathbf{x}$ 都可以：

${\lambda }_2=\max \frac{{\mathbf{x}}^{T}S\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$，其中 $\mathbf{x}$ 满足 ${\mathbf{q}}_1^T\mathbf{x}=0$，最大的是 $\mathbf{x}={\mathbf{q}}_2$（7.2.10）
  \,
${\sigma }_2=\max \frac{||A\mathbf{x}||}{||\mathbf{x}||}$，其中 $\mathbf{x}$ 满足 ${\mathbf{v}}_1^T\mathbf{x}=0$，最大的是 $\mathbf{x}={\mathbf{v}}_2$（7.2.11）

当 $S=A^{T}A$ 时，可以得到 ${\lambda }_1={\sigma }_1^2$ 和 ${\lambda }_2={\sigma }_2^2$，为什么这个方法会成功呢？
从比值 $r(\mathbf{x})=\frac{{\mathbf{x}}^{T}S\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$ 开始，这个称为瑞利商（Rayleigh quotient），要求 $r(\mathbf{x})$ 的最大值，要令其偏导数为零：$\frac{\partial r}{\partial x_i}=0，i=1,2,\cdots ,n$。这些导数的求解比较困难，下面是结果：瑞利商最大时的向量 $\mathbf{x}$：$$当S\mathbf{x}=r(\mathbf{x})\mathbf{x}时，r(\mathbf{x})=\frac{{\mathbf{x}}^{T}S\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}的偏导数全为零(\mathrm{7.2.12})$$所以向量 $\mathbf{x}$ 是 $S$ 的特征向量，最大的比值 $r(\mathbf{x})$ 就是 $S$ 最大的特征值 ${\lambda }_1$。下面转而讨论 $A$ —— 注意它和 $S=A^{T}A$ 的联系！$$最大化\frac{||A\mathbf{x}||}{||\mathbf{x}||}，也会最大化(\frac{||A\mathbf{x}||}{||\mathbf{x}||}{)}^2=\frac{{\mathbf{x}}^T{A}^{T}A\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}=\frac{{\mathbf{x}}^{T}S\mathbf{x}}{\mathbf{x}\mathbf{x}}$$所以式（7.2.9）中 $\mathbf{x}={\mathbf{v}}_1$ 与式（7.2.8）中 $S=A^{T}A$ 最前面的特征向量 ${\mathbf{q}}_1$ 相同。
下面解释为什么式（7.2.10）和（7.2.11）中的向量为什么是 ${\mathbf{q}}_2$ 和 ${\mathbf{v}}_2$。它们分别与 ${\mathbf{q}}_1$ 和 ${\mathbf{v}}_1$ 正交，因此是在考虑范围内。
任意的正交向量 $Q_1$ 的首列是 ${\mathbf{q}}_1$，剩余的 $n-1$ 个标准正交列都与 ${\mathbf{q}}_1$ 正交，使用 $S{\mathbf{q}}_1={\lambda }_1{\mathbf{q}}_1$：$$S{Q}_1=S\left[\begin{array}{cccc}{\mathbf{q}}_1& {\mathbf{q}}_2& \cdots & {\mathbf{q}}_n\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{q}}_1& {\mathbf{q}}_2& \cdots & {\mathbf{q}}_n\end{array}\right]\left[\begin{array}{cc}{\lambda }_1& {\mathbf{w}}^T\\ 0& S_{n-1}\end{array}\right]=Q_1\left[\begin{array}{cc}{\lambda }_1& {\mathbf{w}}^T\\ 0& S_{n-1}\end{array}\right](\mathrm{7.2.13})$$其中 ${\mathbf{w}}^T$ 表示的是 $S$ 作用于 ${\mathbf{q}}_1$，$S_{n-1}$ 是降维后的矩阵，利用矩阵的乘法，将它们乘开，第一列即 ${\lambda }_1{\mathbf{q}}_1$，后面的即为 ${\mathbf{w}}^T{\mathbf{q}}_1+S_{n-1}\left[\begin{array}{ccc}{\mathbf{q}}_2& \cdots & {\mathbf{q}}_n\end{array}\right]$。再用 $Q_1^T$ 左乘上式，注意到 $Q_1^T{Q}_1=I$，且 $Q_1^{T}S{Q}_1$ 是像 $S$ 一样的对称矩阵：$$对称矩阵Q_1^{T}S{Q}_1=\left[\begin{array}{cc}{\lambda }_1& {\mathbf{w}}^T\\ 0& S_{n-1}\end{array}\right]将强制\mathbf{w}=0且S_{n-1}^T=S_{n-1}$$根据条件 ${\mathbf{q}}_1^T\mathbf{x}=0$ 将问题（7.2.10）的最大值问题简化成了 $n-1$ 阶的情况，$S_{n-1}$ 最大的特征值将是 $S$ 的第二大特征值，就是 ${\lambda }_2$，式（7.2.10）中的向量是特征向量 ${\mathbf{q}}_2$ 且 $S{\mathbf{q}}_2={\lambda }_2{\mathbf{q}}_2$。
继续下去，或者使用数学归纳法，就可以得到所有的特征向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_2$ 和它们对应的特征值 ${\lambda }_1,{\lambda }_2,\cdots {\lambda }_n$，即使存在重复的特征值，谱定理 $S=Q\Lambda Q^T$ 也可以被证明。所有的对称矩阵都可被对角化。
类似的，SVD 可以从式（7.2.9）和（7.2.11）中一步一步的得到。下面有一个很重要的问题：实际情况中如何计算 $\lambda$ 和 $\sigma$ 呢？

七、计算 S 的特征值和 A 的奇异值

$A$ 的奇异值 ${\sigma }_i$ 是 $S=A^{T}A$ 特征值 ${\lambda }_i$ 的算术平方根，这个将 SVD 和对称矩阵的特征值问题联系了起来，这个很好；但是我们不想使用 $A^{T}A$ 乘 $A$，因为这个运算非常耗时，这个很不好。
首先想到的是尽可能将 $A$ 和 $S$ 的元素都变成零，而不改变任何的 $\sigma$ 和 $\lambda$。奇异向量和特征向量会改变 —— 这个没有问题。相似矩阵 $Q^{-1}SQ$ 和 $S$ 的特征值 $\lambda$ 相同，如果 $S$ 正交，那么这个矩阵就是 $Q^{T}SQ$ 也是对称的。
对于二阶的对称矩阵可以构造出 $2\times 2$ 的旋转矩阵 $Q$，使得 $Q^{T}SQ$ 是对称的三对角矩阵（symmetric and tridiagonal matrix），它含有大量的零元素，但是旋转无法保证总能得到对角矩阵，所以要想求得 $S$ 所有的特征值，需要新的方法。
对于 SVD，和 $Q^{T}SQ$ 相对应的是什么？我们不想改变 $A$ 任何的奇异值，那么就是：在 $A$ 的两边分别乘上不同的正交矩阵 $Q_1$ 和 $Q_2$，利用这两个在矩阵 $Q_1^{T}A{Q}_2$ 中生成零元素，而 $\sigma$ 不会改变：$$(Q_1^{T}A{Q}_2{)}^T(Q_1^{T}A{Q}_2)=Q_2^T{A}^{T}A{Q}_2=Q_2^{T}S{Q}_2得到相同的\sigma (A)和\lambda (S)$$两个自由选取的 $Q$ 将可以使得 $Q_1^{T}A{Q}_2$ 为两对角矩阵（bidiagonal matrix），这个完美对应了 $Q^{T}SQ$ 是三对角矩阵，它们之间的联系是：$(两对角矩阵{)}^T(两对角矩阵)=三对角矩阵$。
最后要算出对角矩阵 $\Lambda$ 和对角矩阵 $\Sigma$ 的步骤需要更多的新思路，这个也不简单，因为有些要解的 $\det (S-\lambda I)=0$ 是 $n=100$ 或 $1000$ 甚至是更多次数的多项式，而我们不可能去求解这些多项式！
LAPACK 中求解 $\lambda$ 和 $\sigma$ 是使用简单的正交矩阵来逼近 $Q^{T}SQ=\Lambda$ 和 $U^{T}AV=\Sigma$，当很接近 $\Lambda$ 和 $\Sigma$ 时就停止。
这两步（先是零元素）方法在指令 eig(S) 和 svd(A) 中内置了。

八、主要内容总结

1. SVD 将 $A$ 分解成 $U\Sigma V^T$，共有 $r$ 个奇异值 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$.
2. 数值 ${\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2$ 是 $A{A}^T$ 和 $A^{T}A$ 非零的特征值。
3. $U$ 和 $V$ 的标准正交列是 $A{A}^T$ 和 $A^{T}A$ 的特征向量。
4. 这些列包含了矩阵 $A$ 四个基本子空间的标准正交基。
5. 这些基对角化矩阵 $A$：$A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i,i\le r$，即是 $AV=U\Sigma$.
6. $A={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$，其中 ${\sigma }_1$ 是比值 $\frac{||A\mathbf{x}||}{||\mathbf{x}||}$ 的最大值。

九、例题

【例4】识别出下列将 $A$ 分解成列乘行的和的分解方式的类型：$$\begin{array}{llllc}1.正交列& {\mathbf{u}}_1{\sigma }_1,{\mathbf{u}}_2{\sigma }_2,\cdots ,{\mathbf{u}}_r{\sigma }_r& 乘& 标准正交行& {\mathbf{v}}_1^T,{\mathbf{v}}_2^T,\cdots ,{\mathbf{v}}_r^T\\ 2.标准正交列& {\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_r& 乘& 三角形矩阵的行& {\mathbf{r}}_1^T,{\mathbf{r}}_2^T,\cdots ,{\mathbf{r}}_r^T\\ 3.三角形矩阵的列& {\mathbf{l}}_1,{\mathbf{l}}_2,\cdots ,{\mathbf{l}}_r& 乘& 三角形矩阵的行& {\mathbf{u}}_1^T,{\mathbf{u}}_2^T\cdots ,{\mathbf{u}}_r^T\end{array}$$$A$ 的秩、主元和奇异值在上述分解中的哪里出现？
解： 这三种分解不管是对理论数学还是应用数学中的线性代数都是基础：

1. 奇异值分解 Singular Value Decompositon：$A=U\Sigma V^T$
2. 格拉姆-施密特正交化 Gram-Schmidt Orthogonalization：$A=QR$
3. 高斯消元法 Gaussian Elimination：$A=LU$

可以将奇异值 ${\sigma }_i$、高度 $h_i$ 和主元 $d_i$ 单独表示：

1. $A=U\Sigma V^T$，其中 $U$ 和 $V$ 的列都是单位向量，$r$ 个奇异值 ${\sigma }_i$ 在 $\Sigma$ 中.
2. $A=QHR$，其中 $Q$ 的列是单位向量，$R$ 中的对角元素都是 $1$，$r$ 个高度 $h_i$ 在 $H$ 中.
3. $A=LDU$，其中 $L$ 和 $U$ 的对角元素都是 $1$，$r$ 个主元在 $D$ 中.

每个 $h_i$ 表示第 $i$ 列到由第 $1,2,\cdots ,i-1$ 列所形成平面的高度，当 $r=m=n$ 时，$n$ 维的 “平行多面体”（以 $A$ 各列为同一顶点处的棱）的体积可以由 $A=U\Sigma V^T=LDU=QHR$ 求得：$$|\det A|=|{\sigma }_i的乘积|=|d_i的乘积|=|h_i的乘积|$$【例5】证明 ${\sigma }_1\ge |\lambda {|}_{\text{max}}$，最大的奇异值大于或等于所有的特征值。
证明： 由 $A=U\Sigma V^T$，注意到左乘一个正交矩阵并不改变这个向量的长度：$||Q\mathbf{x}||=||\mathbf{x}||$，这是因为 $||Q\mathbf{x}|{|}^2={\mathbf{x}}^T{Q}^{T}Q\mathbf{x}={\mathbf{x}}^T\mathbf{x}=||\mathbf{x}|{|}^2$，这个也适用于 $Q=U$ 和 $Q=V^T$，这两个矩阵的中间是对角矩阵 $\Sigma$：$$||A\mathbf{x}||=||U\Sigma V^T\mathbf{x}||=||\Sigma V^T\mathbf{x}||\le {\sigma }_1||V^T\mathbf{x}||={\sigma }_1||\mathbf{x}||(\mathrm{7.2.14})$$特征向量满足 $||A\mathbf{x}||=|\lambda |||\mathbf{x}||$，所以式（7.2.14）表明 $|\lambda |||\mathbf{x}||\le {\sigma }_1||\mathbf{x}||$，所以 $|\lambda |\le {\sigma }_1$.
取 $\mathbf{x}=(1,0,\cdots ,0)$ 为单位向量，则 $A\mathbf{x}$ 就是 $A$ 的第一列，然后由不等式（7.2.14）可得，这列的长度小于或等于 ${\sigma }_1$。所以 $A$ 的每个元素都有 $|a_{ij}|\le {\sigma }_1$.
式（7.2.14）再次证明了 $\frac{||A\mathbf{x}||}{||\mathbf{x}||}$ 的最大值等于 ${\sigma }_1$.
在求解 $A\mathbf{x}=\mathbf{b}$ 时，条件数（condition number）$\frac{{\sigma }_{\text{max}}}{{\sigma }_{\text{min}}}$ 控制舍入的误差，如果条件数太大，那么 MATLAB 会警告此时的 $\mathbf{x}$ 不可靠。