低秩分解的本质是通过基矩阵和系数矩阵的线性组合，以最小的存储和计算代价近似表示复杂矩阵

低秩分解的本质是通过基矩阵和系数矩阵的线性组合，以最小的存储和计算代价近似表示复杂矩阵

flyfish

一、最基础起点：数字与数组

1. 数字与标量（Scalar）

   • 单独的数，如 $1,2.5,-3$，只表示大小，没有方向。
   • 例子：苹果单价5元，“5”是标量。

2. 数组（Array）：数字的有序排列

   • 按顺序排列的一组数，用括号括起来，如 $(1,2,3)$ 或 $\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)$。
   • 区别：
     • 横排叫行数组：$(a_1,a_2,\dots ,a_n)$，
     • 竖排叫列数组：$\left(\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right)$。

二、向量：一维数组的数学名称

1. 向量（Vector）的定义

   • 行向量：1行n列的数组，如 $\vec{v}=(v_1,v_2,v_3)$，
   • 列向量：n行1列的数组，如 $\vec{u}=\left(\begin{array}{c}{u}_1\\ u_2\\ u_3\end{array}\right)$。
   • 本质：向量是“带方向的量”，但初学者可先理解为“有序数组”。

2. 向量的线性组合

   • 用常数乘以向量再相加，如 $2\vec{v}+3\vec{u}$，结果仍是向量。
   • 例子：$\vec{v}=(1,2)$，$\vec{u}=(3,4)$，则 $2\vec{v}+3\vec{u}=(2\times 1+3\times 3,2\times 2+3\times 4)=(11,16)$。

三、矩阵：二维数组的“表格”

1. 矩阵（Matrix）的结构

   • 由行和列组成的表格，如 $m$ 行 $n$ 列矩阵记作 $m\times n$，每个位置元素用 $a_{ij}$ 表示（第 $i$ 行第 $j$ 列）。
   • 例子：2×3矩阵
     $$A=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right)=\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right)$$
     • 第1行：$(1,2,3)$，第2行：$(4,5,6)$，
     • 第1列：$\left(\begin{array}{c}1\\ 4\end{array}\right)$，第2列：$\left(\begin{array}{c}2\\ 5\end{array}\right)$，第3列：$\left(\begin{array}{c}3\\ 6\end{array}\right)$。

2. 特殊矩阵：向量的扩展

   • 行向量 = 1×n矩阵，列向量 = n×1矩阵，
   • 单位矩阵 $I$：主对角线为1，其余为0的方阵（如 $\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$）。

四、矩阵乘法：从点积到“行列配对”

1. 向量点积（Dot Product）：两个向量的“匹配度”

   • 条件：两个向量长度相同，对应元素相乘后求和，结果是一个数。
   • 公式：$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$
   • 例子：$\vec{a}=(1,2,3)$，$\vec{b}=(4,5,6)$，
     $$\vec{a}\cdot \vec{b}=1\times 4+2\times 5+3\times 6=4+10+18=32$$

2. 矩阵乘法：行与列的点积组合

   • 条件：左矩阵的列数 = 右矩阵的行数，如 $m\times n$ 矩阵 × $n\times p$ 矩阵 = $m\times p$ 矩阵。
   • 计算步骤：结果矩阵的第 $i$ 行第 $j$ 列元素 = 左矩阵第 $i$ 行与右矩阵第 $j$ 列的点积。
   • 例子：
     $$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)(2\times 2),B=\left(\begin{array}{cc}5& 6\\ 7& 8\end{array}\right)(2\times 2)$$
     • 计算 $AB$ 的第1行第1列：
       $A$ 第1行 $(1,2)$ · $B$ 第1列 $\left(\begin{array}{c}5\\ 7\end{array}\right)=1\times 5+2\times 7=19$，
     • 第1行第2列：$(1,2)\cdot \left(\begin{array}{c}6\\ 8\end{array}\right)=1\times 6+2\times 8=22$，
     • 第2行第1列：$(3,4)\cdot \left(\begin{array}{c}5\\ 7\end{array}\right)=3\times 5+4\times 7=43$，
     • 第2行第2列：$(3,4)\cdot \left(\begin{array}{c}6\\ 8\end{array}\right)=3\times 6+4\times 8=50$，
     • 结果：
       $$AB=\left(\begin{array}{cc}19& 22\\ 43& 50\end{array}\right)$$

五、秩（Rank）：矩阵的“独立信息数量”

1. 线性相关与无关：向量间的“依赖关系”

   • 线性相关：存在非零常数 $k$，使向量 $\vec{a}=k\vec{b}$（即一个向量是另一个的倍数）。
     • 例子：$\vec{a}=(1,2)$，$\vec{b}=(2,4)$，因 $\vec{b}=2\vec{a}$，二者线性相关。
   • 线性无关：不存在非零常数使 $\vec{a}=k\vec{b}$，即向量“互不依赖”。
     • 例子：$\vec{a}=(1,2)$，$\vec{b}=(2,1)$，无法用倍数关系表示，线性无关。

2. 秩的定义：矩阵中线性无关的行/列向量数

   • 矩阵 $A$ 的秩 $\text{rank}(A)=r$，表示：
     • 有 $r$ 个行向量线性无关，其余行可由它们组合而成；
     • 或有 $r$ 个列向量线性无关，其余列可由它们组合而成。
   • 例子：
     $$A=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)$$
     • 第2行是第1行的2倍，行向量线性相关，故 $\text{rank}(A)=1$；
     • 列向量中，第2列=2×第1列，第3列=3×第1列，所有列可由第1列表示，故线性无关的列数=1，秩=1。

六、满秩矩阵：秩与行列数的“相等关系”

1. 列满秩（Column Full Rank）

   • 若矩阵 $B$ 的列向量都线性无关，则 $\text{rank}(B)=$ 列数 $r$，称 $B$ 列满秩。
   • 例子：
     $$B=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 2& 3\end{array}\right)(3\times 2\text{矩阵})$$
     • 列向量 $\left(\begin{array}{c}1\\ 0\\ 2\end{array}\right)$ 和 $\left(\begin{array}{c}0\\ 1\\ 3\end{array}\right)$ 不成倍数，线性无关，故 $\text{rank}(B)=2=$ 列数，列满秩。

2. 行满秩与满秩方阵

   • 行满秩：行向量线性无关，$\text{rank}=$ 行数；
   • 满秩方阵：行列数相同且 $\text{rank}=$ 行数=列数（如单位矩阵）。

七、基矩阵：构建矩阵的“基础零件”

1. 基向量（Basis Vector）：空间的“最小零件”

   • 一组线性无关的向量，能通过线性组合表示空间中所有向量，且数量最少。
   • 例子：二维平面中，${\vec{e}}_1=(1,0)$ 和 ${\vec{e}}_2=(0,1)$ 是一组基向量，任意向量 $(a,b)=a{\vec{e}}_1+b{\vec{e}}_2$。

2. 基矩阵（Basis Matrix）：基向量的集合

   • 由基向量组成的矩阵，每一列是一个基向量，且列满秩。
   • 例子：若矩阵 $A$ 的列向量为 $\left(\begin{array}{c}1\\ 2\end{array}\right),\left(\begin{array}{c}2\\ 4\end{array}\right),\left(\begin{array}{c}3\\ 6\end{array}\right)$，所有列都是 $\left(\begin{array}{c}1\\ 2\end{array}\right)$ 的倍数，故基矩阵取第一列：
     $$B=\left(\begin{array}{c}1\\ 2\end{array}\right)(\text{基矩阵，1列，列满秩})$$

八、系数矩阵：基向量的“组装说明书”

1. 系数（Coefficient）：基向量的“用量”

   • 表示目标向量由多少倍的基向量组合而成，如 $(3,6)=3\times \left(\begin{array}{c}1\\ 2\end{array}\right)$，“3”是系数。

2. 系数矩阵（Coefficient Matrix）：所有系数的表格

   • 若原矩阵 $A$ 的每一列都是基矩阵 $B$ 的线性组合，则系数按列排列成矩阵 $C$。
   • 例子：$A=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)$，各列与基矩阵 $B=\left(\begin{array}{c}1\\ 2\end{array}\right)$ 的关系：
     • 第1列：$1\times B$，系数1；
     • 第2列：$2\times B$，系数2；
     • 第3列：$3\times B$，系数3；
       故系数矩阵为行矩阵：
       $$C=(123)(\text{1行3列，每行对应A的一列系数})$$

九、矩阵分解：用“基×系数”还原原矩阵

1. 分解公式：$A=BC$ 的计算验证

   • 基矩阵 $B$（$m\times r$） × 系数矩阵 $C$（$r\times n$） = 原矩阵 $A$（$m\times n$），其中 $r=\text{rank}(A)$。
   • 例子：分解 $A=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)$，$r=1$：
     $$B=\left(\begin{array}{c}1\\ 2\end{array}\right)(2\times 1),C=(123)(1\times 3)$$
     计算 $BC$：
     $$\left(\begin{array}{c}1\\ 2\end{array}\right)(123)=\left(\begin{array}{ccc}1\times 1& 1\times 2& 1\times 3\\ 2\times 1& 2\times 2& 2\times 3\end{array}\right)=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)=A$$
     • 每一行的计算：$B$ 的每行（其实是每个元素）与 $C$ 的每列点积，因 $B$ 和 $C$ 只有1列/行，点积即数值相乘。

2. 低秩分解的本质：压缩信息的“核心逻辑”

   • 原矩阵 $A$ 有 $m\times n$ 个元素，分解后 $B$ 和 $C$ 共有 $m\times r+r\times n$ 个元素，当 $r\ll m,n$ 时，元素量大幅减少（如 $m=n=1000,r=10$，原100万元素→分解后2万元素，压缩50倍）。
   • 类比：基矩阵 $B$ 是“不同颜色的积木块”，系数矩阵 $C$ 是“每个积木用多少块”，原矩阵 $A$ 是“搭好的模型”，分解即“拆模型为积木+图纸”，存储量减少。

十、图示

数字 → 数组 → 向量（行/列） → 矩阵（行列表格）  
↓            ↓               ↓  
线性组合     点积           矩阵乘法（行×列点积）  
↓            ↓               ↓  
线性相关/无关 → 秩（独立向量数） → 满秩（秩=行列数）  
↓                            ↓  
基向量（线性无关组） → 基矩阵（列满秩）  
↓                            ↓  
系数（基的用量） → 系数矩阵（记录所有用量）  
↓                            ↓  
                    矩阵分解（基矩阵×系数矩阵=原矩阵）

低秩分解的本质是通过基矩阵和系数矩阵的线性组合，以最小的存储和计算代价近似表示复杂矩阵

### 基础层：数据结构的演化
┌──────────────────────────────────────┐
│ 基础层：数据结构的演化                │
├──────────────────────────────────────┤
│ 数字（标量）：5, -3, 2.5               │
└──────────────────────────────────────┘
           ↓（有序排列）
┌──────────────────────────────────────┐
│ 一维数组：[1, 2, 3]                   │
└──────────────────────────────────────┘
           ↓（抽象为向量）
┌──────────────────────────────────────┐
│ 向量：                               │
│   ┌───────────────┐ ┌──────────────┐  │
│   │ 行向量：(1,2,3) │ │ 列向量：⎡1⎤  │  │
│   └───────────────┘ │          ⎢2⎥   │  │
│                     │          ⎣3⎦   │  │
│                     └──────────────┘  │
└──────────────────────────────────────┘
           ↓（二维扩展）
┌──────────────────────────────────────┐
│ 矩阵 A = ⎡1  2  3⎤ （2×3矩阵，a₁₃=3） │
│          ⎣2  4  6⎦                    │
└──────────────────────────────────────┘

### 运算层：从向量到矩阵的运算
┌──────────────────────────────────────┐
│ 运算层：矩阵的基本运算                │
├──────────────────────────────────────┤
│   ┌──────────────┐ ┌─────────────┐  │
│   │ 线性组合      │ │ 点积        │  │
│   └──────────────┘ └─────────────┘  │
│        ↑             ↑             │
│        ↓             ↓             │
│   ┌──────────────┐ ┌─────────────┐  │
│   │ 2×(1,2,3)    │ │ (1,2)·(3,4) │  │
│   │ =(2,4,6)     │ │ =11         │  │
│   └──────────────┘ └─────────────┘  │
│   ┌───────────────────────────────┐  │
│   │ 矩阵乘法（行×列点积）          │  │
│   └───────────────────────────────┘  │
│        ↑                             │
│        ↓                             │
│   ┌───────────────────────────────┐  │
│   │ ⎡1  2⎤×⎡5  6⎤=⎡19  22⎤        │  │
│   │ ⎣3  4⎦ ⎣7  8⎦ ⎣43  50⎦         │  │
│   └───────────────────────────────┘  │
└──────────────────────────────────────┘

### 性质层：矩阵的代数性质
┌──────────────────────────────────────┐
│ 性质层：矩阵的代数性质                │
├──────────────────────────────────────┤
│   ┌───────────────┐ ┌─────────────┐  │
│   │ 线性相关/无关   │ │ 秩          │  │
│   └───────────────┘ └─────────────┘  │
│        ↑             ↑              │
│        ↓             ↓              │
│   ┌───────────────┐ ┌─────────────┐  │
│   │ A的列向量：    │ │ A中线性无关  │  │
│   │ 2→1=2×1列      │ │ 列数=1      │  │
│   └───────────────┘ └─────────────┘  │
│   ┌───────────────────────────────┐  │
│   │ 满秩（秩=行列数）              │  │
│   └───────────────────────────────┘  │
│        ↑                             │
│        ↓                             │
│   ┌───────────────────────────────┐  │
│   │ 若矩阵B=⎡1  0⎤，秩=2=列数，列满秩│  │
│   │       ⎣0  1⎦                   │  │
│   └───────────────────────────────┘  │
└──────────────────────────────────────┘

### 分解层：矩阵的低秩分解
┌──────────────────────────────────────┐
│ 分解层：矩阵的低秩分解原理            │
├──────────────────────────────────────┤
│   ┌───────────────┐ ┌─────────────┐  │
│   │ 基向量        │ │ 基矩阵      │  │
│   │ （线性无关组） │ │ （列满秩）  │  │
│   └───────────────┘ └─────────────┘  │
│        ↑             ↑              │
│        ↓             ↓              │
│   ┌───────────────┐ ┌─────────────┐  │
│   │ A的基向量：    │ │ 基矩阵B=⎡1⎤  │  │
│   │ ⎡1⎤           │ │         ⎣2⎦  │  │
│   │ ⎣2⎦           │ └─────────────┘  │
│   └───────────────┘                  │
│        ↑                             │
│        ↓                             │
│   ┌───────────────┐ ┌─────────────┐  │
│   │ 系数          │ │ 系数矩阵C=│  │  │
│   │ （基的用量）  │ │ (1  2  3) │  │  │
│   │              │ │ （1×3，秩=1）│  │
│   └───────────────┘ └─────────────┘  │
│                      ┌─────────────┐  │
│                      │ 矩阵分解 B×C=A │  │
│                      └─────────────┘  │
└──────────────────────────────────────┘