【数学基础】线性代数#1向量和矩阵初步

本系列内容介绍：

主要参考资料：

《深度学习》[美]伊恩·古德菲洛 等 著

《机器人数学基础》吴福朝 张铃 著

文章为自学笔记，仅供参考。

标量、向量、矩阵和张量

标量

标量是一个单独的数。

向量

向量是一列有序排列的数：

$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$

向量元素的个数为向量的维度。若$n$维向量的每个元素都属于$\mathbb{R}$，则该向量属于$\mathbb{R}$的$n$次笛卡尔乘积构成的集合${\mathbb{R}}^n$。

向量元素的下标为元素的索引。指定索引的集合 S = { 1 , 3 , 6 } S=\{1,3,6\} S={1,3,6}，则向量${\mathbf{x}}_S$包含集合中索引的元素。负号表示集合的补集中的索引，向量${\mathbf{x}}_{-1}$包含除了$x_1$的所有元素。

矩阵

矩阵是一个二维数组：

$\mathbf{A}=\left[\begin{array}{cc}{A}_{1,1}& A_{1,2}\\ A_{2,1}& A_{2,2}\end{array}\right]$

高度为$m$、宽度为$n$的实数矩阵属于${\mathbb{R}}^{m\times n}$。

$A_{i,j}$表示第$i$行第$j$列的元素，${\mathbf{A}}_{i,:}$表示第$i$行的所有元素，${\mathbf{A}}_{:,i}$表示第$i$列的所有元素，$f(\mathbf{A}{)}_{i,j}$表示函数$f$作用在$\mathbf{A}$的第$i$行第$j$列的元素。

张量

张量可以表示任意维度的数组。

张量$\mathsf{A}$中坐标为$(i,j,k)$的元素记作${\mathsf{A}}_{(i,j,k)}$。

矩阵运算

转置

转置操作将矩阵以主对角线为轴镜像，从左上角到右下角的对角线被称为主对角线。矩阵$\mathbf{A}$的转置为${\mathbf{A}}^T$。

$({\mathbf{A}}^T{)}_{i,j}=A_{j,i}$

向量经转置可以表示在一行上：

$\mathbf{x}=[x_1,x_2,x_3{]}^T$

矩阵相加

两个形状相同的矩阵相加是指对应位置的元素相加：

$\mathbf{C}=\mathbf{A}+\mathbf{B}$

$C_{i,j}=A_{i,j}+B_{i,j}$

矩阵和标量

标量和矩阵相乘或相加时，矩阵的每个元素都和标量相乘或相加：

$\mathbf{D}=a\cdot \mathbf{B}+c$

$D_{i,j}=a\cdot B_{i,j}+c$

矩阵和向量

深度学习允许矩阵与向量相加，此时向量和矩阵的每一列相加：

$\mathbf{C}=\mathbf{A}+\mathbf{b}$

$C_{i,j}=A_{i,j}+b_j$

这种隐式地复制向量到很多位置的方式称为广播。

矩阵相乘

$m\times n$的矩阵$\mathbf{A}$与$n\times p$的矩阵$\mathbf{B}$的矩阵乘积为$m\times p$的矩阵$\mathbf{C}$：

$\mathbf{C}=\mathbf{AB}$

$C_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}$

两个维数相同的向量$\mathbf{x}$和$\mathbf{y}$的点积可看作矩阵乘积${\mathbf{x}}^{\top }\mathbf{y}$。

矩阵乘积服从分配律和结合律，不服从交换律：

$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{AB}+\mathbf{AC}$

$\mathbf{A}(\mathbf{BC})=(\mathbf{AB})\mathbf{C}$

向量点积服从交换律：

${\mathbf{x}}^{\top }\mathbf{y}={\mathbf{y}}^{\top }\mathbf{x}$

两个形状相同的矩阵中对应位置的元素乘积称为元素对应乘积或者Hadamard乘积：

$\mathbf{C}=\mathbf{A}\odot \mathbf{B}$

$C_{i,j}=A_{i,j}{B}_{i,j}$

矩阵乘积可以表示线性方程组：

$\mathbf{Ax}=\mathbf{b}$

单位矩阵和逆矩阵

单位矩阵

$n$阶单位矩阵${\mathbf{I}}_n$沿主对角线的元素都是$1$，其他元素都是$0$：

${\mathbf{I}}_3=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$

任何向量和单位矩阵相乘都不变：

$\forall \mathbf{x}\in {\mathbb{R}}^n,{\mathbf{I}}_n\mathbf{x}=\mathbf{x}$

逆矩阵

矩阵$\mathbf{A}$的逆矩阵记作${\mathbf{A}}^{-1}$，满足如下条件：

${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_n$

也可以定义逆矩阵右乘：

$\mathbf{A}{\mathbf{A}}^{-1}={\mathbf{I}}_n$

这两个逆矩阵分别为左逆和右逆，方阵的左逆和右逆相等。

通过矩阵求逆可以求解上述线性方程组：

$\mathbf{Ax}=\mathbf{b}$

$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$

线性相关和生成子空间

一组向量的线性组合是每个向量乘以对应标量系数之后的和：

$\sum _i{c}_i{\mathbf{v}}^{(i)}$

一组向量的生成子空间是该组向量的线性组合能指向的点的集合。

$\mathbf{Ax}=\mathbf{b}$是否有解的问题可以转化为向量$\mathbf{b}$是否在$\mathbf{A}$列向量的生成子空间中，该生成子空间被称为$\mathbf{A}$的列空间或值域。

如果一组向量中任意一个向量都不能表示成其他向量的线性组合，那么这组向量线性无关，即$n$个向量的线性组合可以覆盖整个${\mathbb{R}}^n$空间，反之则线性相关。

所以$\mathbf{Ax}=\mathbf{b}$有唯一解的充要条件是$\mathbf{A}$为方阵，且所有列向量线性无关，否则线性方程组无法用矩阵逆求解。列向量线性相关的方阵被称为奇异的。

范数

机器学习经常使用范数衡量向量大小，形式上$L^p$范数的定义如下：

$||\mathbf{x}|{|}_p={\left(\sum _i|x_i{|}^p\right)}^{\frac{1}{p}},p\in \mathbb{R},p⩾1$

更严格地说，范数是满足下列性质的任意函数：

• $f(\mathbf{x})=0\Rightarrow \mathbf{x}=0$；
• $f(\mathbf{x}+\mathbf{y})⩽f(\mathbf{x})+f(\mathbf{y})$（三角不等式）；
• $\forall \alpha \in \mathbb{R},f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})$

当$p=2$时，$L^2$范数称为欧几里得范数，表示从原点出发到向量终点的欧几里得距离，在机器学习中使用频繁，常简记为$||x||$。平方$L^2$范数也很常用，通过点积${\mathbf{x}}^{\top }\mathbf{x}$计算，更为简便，且对每个元素的导数导数只取决于对应的元素，而$L^2$范数对每个元素的导数和整个向量相关。但平方$L^2$范数在原点附近增长十分缓慢，不适合一些注重区分零元素和非零极小元素的机器学习应用，此时各个位置斜率相同、数学形式简单的$L^1$范数效果更好：

$||\mathbf{x}|{|}_1=\sum _i|x_i|$

另一个机器学习经常出现的范数是最大范数$L^{\infty }$范数：

$||\mathbf{x}|{|}_{\infty }=\underset{i}{\max }|x_i|$

衡量矩阵大小最常见的做法是使用Frobenius范数：

$||\mathbf{A}|{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$

两个向量的点积可以用范数表示：

${\mathbf{x}}^{\top }\mathbf{y}=||\mathbf{x}|{|}_2||\mathbf{y}|{|}_2\cos \theta$

其中$\theta$为两个向量之间的夹角。

特殊类型的矩阵和向量

对角矩阵只在主对角线上含有非零元素，其他位置都是零。$\mathrm{diag}(\mathbf{v})$表示对角元素由向量$\mathbf{v}$中元素给定的对角矩阵。机器学习中将一些矩阵限制为对角矩阵可以得到计算代价较低的算法，因为对角矩阵的乘法和逆矩阵计算很高效：

$\mathrm{diag}(\mathbf{v})\mathbf{x}=\mathbf{v}\odot \mathbf{x}$

$\mathrm{diag}(\mathbf{v}{)}^{-1}=\mathrm{diag}([1/v_1,\cdots ,1/v_n{]}^{\top })$

对称矩阵的转置和自己相等：

$\mathbf{A}={\mathbf{A}}^{\top }$

${\mathbf{A}}_{i,j}={\mathbf{A}}_{j,i}$

当某些不依赖参数顺序的双参数函数生成元素时，对称矩阵经常出现，例如距离度量。

单位向量是具有单位范数的向量：

$||\mathbf{x}|{|}_2=1$

如果${\mathbf{x}}^{\top }\mathbf{y}=0$，则向量$\mathbf{x}$和向量$\mathbf{y}$互相正交，若它们的范数都为$1$，则又是标准正交。在${\mathbb{R}}^n$中至多有$n$个范数非零向量互相正交。

正交矩阵是行向量和列向量分别标准正交的方阵：

${\mathbf{A}}^{\top }\mathbf{A}=\mathbf{A}{\mathbf{A}}^{\top }=\mathbf{I}$

因此正交矩阵的求逆计算代价小：

${\mathbf{A}}^{-1}={\mathbf{A}}^{\top }$

特征分解

正如分解质因数可以发现整数的一些内在性质，分解矩阵也能发现矩阵表示成数组元素时不明显的函数形式。

特征分解将矩阵分解成一组特征向量和特征值，是使用最广的矩阵分解之一。

方阵$\mathbf{A}$的特征向量是指与$\mathbf{A}$相乘后相当于对该向量进行缩放的非零向量$\mathbf{v}$：

$\mathbf{Av}=\lambda \mathbf{v}$

其中标量$\lambda$为这个特征向量对应的特征值。

如果$\mathbf{v}$是$\mathbf{A}$的特征向量，那么任何缩放后的向量$s\mathbf{v}(s\in \mathbb{R},s\ne 0)$也是$\mathbf{A}$的特征向量，并都有相同的特征值，因此通常我们只考虑单位特征向量。

假设$\mathbf{A}$有$n$个线性无关的特征向量 { v ( 1 ) , ⋯   , v ( n ) } \{\boldsymbol v^{(1)},\cdots,\boldsymbol v^{(n)}\} {v(1),⋯,v(n)}，对应着特征值 { λ 1 , ⋯   , λ n } \{\lambda_1,\cdots,\lambda_n\} {λ1​,⋯,λn​}。将特征向量连接成一个矩阵$V=[{\mathbf{v}}^{(1)},\cdots ,{\mathbf{v}}^{(n)}]$，将特征值连接成一个向量$\mathbf{\lambda }=[{\lambda }_1,\cdots ,{\lambda }_n]$，那么$A$的特征分解记作：

$\mathbf{A}=\mathbf{V}\mathrm{diag}(\mathbf{\lambda }){\mathbf{V}}^{-1}$

有的矩阵无法特征分解，有的矩阵的特征分解涉及复数，而每个实对称矩阵都能分解成实特征向量和实特征值：

$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\top }$

其中$\mathbf{Q}$是$\mathbf{A}$的特征向量组成的正交矩阵，$\mathbf{\Lambda }$是对角矩阵，特征值${\Lambda }_{i,i}$对应的特征向量是$\mathbf{Q}$的第$i$列。

实对称矩阵的特征分解可能并不唯一，如果两个或多个特征向量有相同的特征值，那么由这些向量产生的生成子空间中，任意一组正交向量都是该特征值的对应特征向量，可以等价地构成$\mathbf{Q}$。我们通常按降序排列$\mathbf{\Lambda }$的元素，该惯例下如果所有特征值唯一，那么特征分解唯一。

特征分解给出了很多关于矩阵的有用信息，例如矩阵奇异的充分条件是它含有零特征值。

实对称矩阵的特征分解可以用于优化二次方程$f(\mathbf{x})={\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}$，其中限制$||\mathbf{x}|{|}_2=1$。当$\mathbf{x}$是$\mathbf{A}$的特征向量时，$f$将返回对应的特征值。在限制条件下，$f$的最大值是最大特征值，最小值是最小特征值。

所有特征值都是正数的矩阵称为正定，所有特征值都是非负数的矩阵称为半正定。反之所有特征值都是负数的矩阵称为负定，所有特征值都是非正数的矩阵称为半负定。

半正定矩阵的意义在于：

$\forall \mathbf{x},{\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}⩾0$

而对于正定矩阵则有：

${\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}=0\Rightarrow \mathbf{x}=0$

奇异值分解

奇异值分解SVD将矩阵分解为奇异向量和奇异值，应用更为广泛。每个实数矩阵都有一个奇异值分解，不一定有特征分解。

奇异值分解为：

$\mathbf{A}=\mathbf{U}\mathbf{D}{\mathbf{V}}^{\top }$

对于$m\times n$的矩阵$\mathbf{A}$，$\mathbf{U}$是$m\times m$的矩阵，$\mathbf{D}$是$m\times n$的矩阵，$\mathbf{V}$是$n\times n$的矩阵。$\mathbf{U}$和$\mathbf{V}$为正交矩阵，$\mathbf{D}$为对角矩阵，但不一定为方阵。

$\mathbf{D}$对角线上的元素$\mathbf{A}$的奇异值，$\mathbf{U}$的列向量称为左奇异向量，$\mathbf{V}$的列向量称为右奇异向量。用特征分解来解释，$\mathbf{A}$的左奇异向量是$\mathbf{A}{\mathbf{A}}^{\top }$的特征向量，$\mathbf{A}$的右奇异向量是${\mathbf{A}}^{\top }\mathbf{A}$的特征向量。$\mathbf{A}$的非零奇异值是${\mathbf{A}}^{\top }\mathbf{A}$特征值的平方根，也是$\mathbf{A}{\mathbf{A}}^{\top }$特征值的平方根。

Moore-Penrose伪逆

对于不可逆矩阵$\mathbf{A}$，线性方程组$\mathbf{Ax}=\mathbf{y}$无解或有无穷多解。Moore-Penrose伪逆在该问题上取得了进展，$\mathbf{A}$的伪逆定义为：

${\mathbf{A}}^{+}=\underset{\alpha \to 0}{\lim }({\mathbf{A}}^{\top }\mathbf{A}+\alpha \mathbf{I}{)}^{-1}{\mathbf{A}}^{\top }$

但计算伪逆实际上通过奇异值分解使用如下公式：

${\mathbf{A}}^{+}={\mathbf{VD}}^{+}{\mathbf{U}}^{\top }$

其中对角矩阵$\mathbf{D}$的伪逆${\mathbf{D}}^{+}$是其非零元素取倒数之后再转置得到的。

使用伪逆替代逆矩阵得到的$\mathbf{x}={\mathbf{A}}^{+}\mathbf{y}$，在有无穷多解的情况下是所有解中$||\mathbf{x}|{|}_2$最小的一个，在无解的情况下使$||\mathbf{Ax}-\mathbf{y}|{|}_2$最小。

迹运算

迹运算返回矩阵对角元素的和：

$\mathrm{Tr}(\mathbf{A})=\sum _i{\mathbf{A}}_{i,i}$

迹运算提供了另一种描述矩阵Frobenius范数的方式：

$||\mathbf{A}|{|}_F=\sqrt{\mathrm{Tr}({\mathbf{AA}}^{\top })}$

迹运算在转置运算下不变：

$\mathrm{Tr}(\mathbf{A})=\mathrm{Tr}({\mathbf{A}}^{\top })$

多个矩阵相乘得到方阵的迹，在保证乘积定义良好的情况下，将这些矩阵中的最后一个挪到最前面之后迹不变：

$\mathrm{Tr}\left(\prod _{i=1}^n{\mathbf{F}}^{(i)}\right)=\mathrm{Tr}\left({\mathbf{F}}^{(n)}\prod _{i=1}^{n-1}{\mathbf{F}}^{(i)}\right)$

标量在迹运算后仍是它自己：

$a=\mathrm{Tr}(a)$

行列式

行列式是一个将方阵$\mathbf{A}$映射到实数的函数，记作$\det (\mathbf{A})$，等于矩阵特征值的乘积。

行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或缩小了多少。行列式为0则空间失去所有体积，行列式为1则空间体积不变。