矩阵分解相关知识点总结（二）

书接上文矩阵分解相关知识点总结（一）

三、矩阵的QR分解

3.1、Givens矩阵与Givens变换

  设非零列向量$\mathbf{x}\in {\mathbf{R}}^n$及单位列向量$\mathbf{z}\in {\mathbf{R}}^n$，存在有限个Givens矩阵的乘积，记作$\mathbf{T}$，使得
$$\mathbf{T}\mathbf{x}=|\mathbf{x}|\mathbf{z}\text{\hspace{1em}(3)}$$

上式即为Givens变换，也称初等旋转变换，其中Givens矩阵，也称初等旋转矩阵，记作${\mathbf{T}}_{ij}={\mathbf{T}}_{ij}(c,s)=\left[\begin{array}{ccccc}\mathbf{I}& & & & \\ & c& & s& \\ & & \mathbf{I}& & \\ & -s& & c& \\ & & & & \mathbf{I}\end{array}\right]$，$\mathbf{T}={\mathbf{T}}_{1n}{\mathbf{T}}_{1,n-1}\cdots {\mathbf{T}}_{13}{\mathbf{T}}_{12}$。

  对于非零列向量$\mathbf{x}=({\xi }_1,{\xi }_2,\cdots ,{\xi }_n{)}^{\mathrm{T}}$，及单位列向量$\mathbf{z}={\mathbf{e}}_1=(1,0,\cdots ,0{)}^{\mathrm{T}}$，其Givens变换过程如下：

• 首先对$\mathbf{x}$构造Givens矩阵${\mathbf{T}}_{12}(c,s)=\left[\begin{array}{ccc}c& s& \\ -s& c& \\ & & \mathbf{I}\end{array}\right]$，其中$c=\frac{{\xi }_1}{\sqrt{{\xi }_1^2+{\xi }_2^2}},s=\frac{{\xi }_2}{\sqrt{{\xi }_1^2+{\xi }_2^2}}$，有
  $${\mathbf{T}}_{12}\mathbf{x}=(\sqrt{{\xi }_1^2+{\xi }_2^2},0,{\xi }_3,\cdots ,{\xi }_n{)}^{\mathrm{T}}$$

• 再对${\mathbf{T}}_{12}\mathbf{x}$构造Givens矩阵${\mathbf{T}}_{13}(c,s)=\left[\begin{array}{cccc}c& & s& \\ & 1& & \\ -s& & c& \\ & & & \mathbf{I}\end{array}\right]$，其中$c=\frac{\sqrt{{\xi }_1^2+{\xi }_2^2}}{\sqrt{{\xi }_1^2+{\xi }_2^2+{\xi }_3^2}},s=\frac{{\xi }_3}{\sqrt{{\xi }_1^2+{\xi }_2^2+{\xi }_3^2}}$，有
  $${\mathbf{T}}_{13}({\mathbf{T}}_{12}\mathbf{x})=(\sqrt{{\xi }_1^2+{\xi }_2^2+{\xi }_3^2},0,0,{\xi }_4,\cdots ,{\xi }_n{)}^{\mathrm{T}}$$

• 如此下去，最后对${\mathbf{T}}_{1,n-1}{\mathbf{T}}_{1,n-2}\cdots {\mathbf{T}}_{13}{\mathbf{T}}_{12}\mathbf{x}$构造Givens矩阵${\mathbf{T}}_{1n}(c,s)=\left[\begin{array}{ccc}c& & s\\ & \mathbf{I}& \\ -s& & c\end{array}\right]$，其中$c=\frac{\sqrt{{\xi }_1^2+\cdots +{\xi }_{n-1}^2}}{\sqrt{{\xi }_1^2+{\xi }_2^2+\cdots +{\xi }_{n-1}^2+{\xi }_n^2}},s=\frac{{\xi }_n}{\sqrt{{\xi }_1^2+{\xi }_2^2+\cdots +{\xi }_{n-1}^2+{\xi }_n^2}}$，有
  $${\mathbf{T}}_{1n}({\mathbf{T}}_{1,n-1}\cdots {\mathbf{T}}_{12}\mathbf{x})=(\sqrt{{\xi }_1^2+{\xi }_2^2+\cdots +{\xi }_{n-1}^2+{\xi }_n^2},0,\cdots ,0{)}^{\mathrm{T}}$$

令$\mathbf{T}={\mathbf{T}}_{1n}{\mathbf{T}}_{1,n-1}\cdots {\mathbf{T}}_{12}$，有$\mathbf{T}\mathbf{x}=|\mathbf{x}|\mathbf{z}=|\mathbf{x}|{\mathbf{e}}_1$，即通过有限个Givens矩阵$\mathbf{T}$将$\mathbf{x}$变换为与$\mathbf{z}$同方向的向量。

3.2、Householder矩阵与Householder变换

  任意给定非零列向量$\mathbf{x}\in {\mathbf{R}}^n(n>1)$及单位列向量$\mathbf{z}\in {\mathbf{R}}^n$，则存在矩阵$\mathbf{H}$，使得
$$\mathbf{H}\mathbf{x}=|\mathbf{x}|\mathbf{z}\text{\hspace{1em}(4)}$$

上式即为Householder变换，也称初等反射变换，其中$\mathbf{H}=\mathbf{I}-2{\mathbf{uu}}^{\mathrm{T}}$，为Householder矩阵，也称初等反射矩阵。

  对于非零列向量$\mathbf{x}=({\xi }_1,{\xi }_2,\cdots ,{\xi }_{n-1},{\xi }_n{)}^{\mathrm{T}}$及单位列向量$\mathbf{z}={\text{e}}_1=(1,0,\cdots ,0{)}^{\mathrm{T}}$，其Householder变换过程如下：

  取$\mathbf{u}=\frac{\mathbf{x}-|\mathbf{x}|\mathbf{z}}{|\mathbf{x}-|\mathbf{x}|\mathbf{z}|}=\frac{\mathbf{x}-|\mathbf{x}|{\mathbf{e}}_1}{|\mathbf{x}-|\mathbf{x}|{\mathbf{e}}_1|}$，其中$|\mathbf{x}|=\sqrt{{\xi }_1^2+{\xi }_2^2+\cdots +{\xi }_{n-1}^2+{\xi }_n^2}$，则$\mathbf{H}=\mathbf{I}-2{\mathbf{uu}}^{\mathrm{T}}$，$\mathbf{Hx}=|\mathbf{x}|\mathbf{z}=|\mathbf{x}|{\mathbf{e}}_1$，即通过Householder矩阵$\mathbf{H}$将$\mathbf{x}$变换为与$\mathbf{z}$同方向的向量。

$$初等旋转矩阵是两个初等反射矩阵的乘积，即有{\mathbf{T}}_{ij}={\mathbf{H}}_v{\mathbf{H}}_u\text{\hspace{1em}(5)}$$

3.3、QR分解

  设$A$是$m\times n$实（复）矩阵，且其$n$个列线性无关，则$A$有分解
$$A=QR\text{\hspace{1em}(6)}$$

其中$Q$是$m\times n$实（复）矩阵，且满足$Q^{\text{T}}Q=I$（$Q^{\text{H}}Q=I$），$R$是$n$阶实（复）可逆上三角矩阵。上式即为矩阵的QR分解，也称正交三角分解，该分解除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外是唯一的。

  对于任意的$n$阶实可逆矩阵$A=(a_{ij}{)}_{n\times n}$，均可通过左连乘Givens矩阵（初等旋转矩阵）或左连乘Householder矩阵（初等反射矩阵），将其化为可逆上三角矩阵。