机器学习中的线性代数：奇异值分解 SVD

线性代数 奇异值分解（SVD）

参考资料：
超详细！彻底搞懂矩阵奇异值分解（SVD）本质+计算+应用！_哔哩哔哩_bilibili
非常好的视频，本文内容主要来自于该视频，在此表示感谢！

简单的实对称矩阵

我们从一个简单的对称矩阵开始说起：
$$A=\left[\begin{array}{cc}1& 2\\ 2& 1\end{array}\right]$$
我们有 $A$ 这样的一个矩阵，一个二维向量 $x$ 右乘 $A$ 相当于进行了一次线性变换，但是这样并不简洁，从直观的角度上来说，既发生了旋转，也发生了拉伸，比如说 $x_1=\left(\begin{array}{c}1\\ 0\end{array}\right)$，就会得到 $A{x}_1=\left(\begin{array}{c}1\\ 2\end{array}\right)$，这里显然发生了“拉伸”，也发生了“旋转”，毕竟单一维度的向量已经到达了更高维度的情况。

在这样的思路下，我们尝试抽取一般性的“伸缩矩阵”和“旋转变换矩阵”

• 伸缩变换（也就是只会沿着某个坐标轴的方向进行倍数变化）：
  S = [ λ 1 λ 2 ] = d i a g { λ 1 , λ 2 } S = S T ,        λ 1 , λ 2 ≥ 0 S = \left[ \begin{matrix} \lambda_1 & &\\& & \lambda_2 \end{matrix} \right ] = {diag} \{ \lambda_1, \lambda_2\} \newline S = S^T, \;\;\;\lambda_1, \lambda_2 \ge 0 S=[λ1​​​λ2​​]=diag{λ1​,λ2​}S=ST,λ1​,λ2​≥0
  其中，经过简单验证，可以发现矩阵 $S$ 可以保证只会坐标轴方向进行伸缩，其他情况同理

• 旋转变换：对应到正交矩阵 $Q$
  $$Q^{T}Q=Q{Q}^T=E,Q^{-1}=Q^T$$
  正交矩阵对应的就是不改变长度的情况下，向量的旋转变换

从 实对称矩阵 到 分解后的变换

对于 $A$ 来说，旋转 -> 伸缩 -> 再旋转是一种比较自然的想法，
$$A=QS{Q}^T\to S=Q^{T}AQ=Q^{-1}AQ$$
我们先进行某种角度的旋转，待到伸缩变换之后，我们再进行反角度的旋转；
这里 $S$ 是对角矩阵，且 $Q^T=Q^{-1}$所以 $S$ 与 $A$ 一定是相似矩阵，这里我们求 $S$ ，只需要求出特征值就可以；

但是这里需要注意的是：
我们要求： ${\lambda }_i\ge 0$ 成立，代表的含义是某个维度上的放缩不可以进行反向放缩
但是 $Q$ 还有其他要求，需要进行“矫正”操作，带后面会继续进行说明

为了使得 $S$ 尽量具有唯一性和好的性质，我们常常将 S = d i a g { λ 1 ,    . . . ,    λ n } S=diag\{ \lambda_1, \;... ,\; \lambda_n\} S=diag{λ1​,...,λn​} 从大到小排列 这样尽量保证唯一性，并且在低秩近似矩阵中也有一定的应用

普通方阵的奇异值分解

对一个普通的方阵 $A$ ，我们可以知道 $A{A}^T$ 以及 $A^{T}A$ 一定是对称矩阵，证明也很显然：
$$(A{A}^T{)}^T=(A^T{)}^T(A{)}^T=A{A}^T$$
我们假设 $A$ 是可以进行某种类型的分解的（这一点在这里没有证明）：
$$A=PS{Q}^T,P{P}^T=P^{T}P=E,Q{Q}^T=Q^{T}Q=E\text{\hspace{1em}(1.1)}$$

$$\begin{gathered} A{A}^T=PS{Q}^{T}Q{S}^{T}P=P{S}^2{P}^T \\ {A}^{T}A=Q{S}^T{P}^{T}PS{Q}^T=Q{S}^2{Q}^T\text{\hspace{1em}(1.2)} \end{gathered}$$

注意：尽管我们可以从 $(1.1)$ 推导到 $(1.2)$，但是二者并不是充要条件，也就是说 这里的 $A^{T}A=(-Q)S^2(-Q{)}^T$ 也是有可能出现的，因此，我们通过 $(1.2)$ 求出来的特征值可以保证是正确的（直接开根号、取正数），但是特征向量还是需要进行 校正：

具体来说，我们需要 $(1.1)$ 的完全等价表示：
$$A=PS{Q}^T\iff AQ=PS\text{\hspace{1em}(1.3)}$$
我们接下来，我们就可以用 $(1.3)$ 进行校正，我们可以固定其中的 $Q$，默认它是正确的，然后重新解出来 $P$，此时也就可以保证正确性

从 方阵 到 $m\ast n$ 矩阵

$$A_{m\ast n}=P_{m\ast m}{S}_{m\ast n}{Q}_{n\ast n}^T\text{\hspace{1em}(1.4)}$$

这里，$P,Q$ 均为正交矩阵，这里假设$m<n$且 $S$ 需要满足这样的性质：$S_{m\ast n}=(J_{m\ast m},O)$，$J$ 是对角矩阵；

这里可以思考这样一个问题：
如果说，$J_{m\ast m}$ 表示的是各个维度上的伸缩，那么 $J_{m\ast n}$ 表示了怎样的几何含义？

这里只对 $A_{m\ast n},m<n$ 的情况进行讨论，另一边可以用相似的方法：
$$\begin{gathered} A_{m\ast n}=PS{Q}^T=P(J,O)Q^T \\ A{A}^T=PS{S}^T{P}^T=P{J}^2{P}^T \\ {A}^{T}A=Q{S}^{T}S{Q}^T=Q\left(\begin{array}{c}J\\ O\end{array}\right)\left(\begin{array}{cc}J& O\end{array}\right)Q^T=Q\left(\begin{array}{cc}{J}^2& O\\ O& O\end{array}\right)Q^T \end{gathered}$$
这样求出公共的特征值，仍然需要进行校正操作，就可以得到最终答案

奇异值分解的实际应用

奇异值分解被广泛用于图像处理、低秩近似矩阵等领域，可以用来进行数据压缩等等；
比如说，一张 512 * 512 的图片，我们正常来说需要记录它的全部像素点，但是$A=PS{Q}^T$，而且我们可以逐个 $S$ 的元素进行展开，
A = [ α 1 . . . α n ] d i a g { λ 1 , . . . , λ n } [ β 1 . . . β n ] T A = \left[ \begin{matrix} \alpha_1& ... &\alpha_n \end{matrix} \right] diag\{\lambda_1, ... ,\lambda_n \} \left[ \begin{matrix} \beta_1& ... &\beta_n \end{matrix} \right]^T A=[α1​​...​αn​​]diag{λ1​,...,λn​}[β1​​...​βn​​]T
这样我们可以发现，每一项一定是秩为1的，而且如果按照我们所说的 ${\lambda }_i$ 大的部分放的更靠前，那么我们就在一定程度上认为，前面的部分所占的权重更大，可能只取前面 200 项的时候，就基本能够近似表示原本的图片，这也就是所谓“低秩近似”，也就起到了压缩图片的作用