Class00.2线性代数

Class00.2线性代数

标量 vs 向量

如上图，左边是标量，右边是向量，抛去概念可以简单理解为向量就是有方向的标量。

左侧展示一个标量：一个温度计上标有 “温度 = 25°C”

右侧展示一个向量：一个箭头，表示 “速度 = 10 m/s 向右”

可以看到左侧的温度只是一个数据，右边的则则需要有指定的方向。

标量

向量的简单操作

向量的长度计算

向量

向量的和与积

向量的简单操作

向量的长度

点乘和正交

点乘
点乘也叫做内积。
两个向量 a 和 b 的点乘公式是：

其中 θ 是两向量之间的夹角。

正交
两个向量正交（orthogonal） 就是它们互相垂直，夹角为90°，此时：

区别与联系

正交 ⇨ 点乘为 0
点乘为 0 ⇨ 向量正交

点乘是一个操作，得出一个标量
正交是一种关系，由点乘结果是否为 0 来判断

非正交向量：夹角小于 90°，点乘为正
正交向量：互相垂直，点乘为 0

矩阵

简单来说，就是一个按行和列排列的数字表格。例如：

这个3行3列的数字表格就是一个矩阵。

假设你有三天的天气预报，每天记录上午、中午和下午的温度，那么你可以把这些温度写成一个矩阵：

矩阵的简单操作

矩阵的乘法

假设有两个矩阵：

矩阵乘法的规则是：
矩阵𝐴的第𝑖行和矩阵𝐵的第𝑗列对应元素相乘再求和，得到结果矩阵的第 𝑖,𝑗个元素。

计算步骤：
计算结果矩阵 𝐶 = 𝐴×𝐵，它也是2行2列。

所以：

简单来说，矩阵乘法就是按行乘列，对应元素乘积相加，得到新矩阵的每个元素。

矩阵的数学意义

1. 矩阵作为线性变换

最直观的矩阵意义是：矩阵代表一种线性变换，它把一个向量变换成另一个向量。

这个过程可以看作是把向量 𝑥从原空间映射到另一个空间（维度可能不同）。

2. 几何意义（二维情况）

在二维空间中，一个 2×2 矩阵 𝐴对一个二维向量 X=(𝑥,𝑦)
做变换，会对平面上的点做如下变换：

这些都是线性变换的典型表现。

假设有矩阵

输入向量 𝑥=(𝑥,𝑦)输出是：

这表示沿 𝑥轴方向放大2倍，𝑦轴方向不变。

范数

范数（Norm）是线性代数和数学分析中用来度量向量或矩阵“大小”或“长度”的一种函数。它是从向量空间到实数的一个映射，具有一些特定的性质，用于表示向量或矩阵的“量级”。

范数的定义
在数学中，给定一个向量空间 𝑉，范数是一个函数：

对于向量𝑥∈𝑉它的范数记作||x||，必须满足以下三个公理：

1.非负性

范数总是非负的，且仅当向量为零向量时范数为 0。

2.正齐次性

缩放向量会相应缩放范数（长度）。

3.三角不等式

向量和的“长度”不超过它们长度之和。

矩阵范数

矩阵范数是用来衡量一个矩阵“大小”的工具。

就像向量范数衡量一个向量有多“长”，矩阵范数衡量的是矩阵对数据的拉伸能力、元素的整体大小或变化的幅度。

把一个矩阵看作一个变换器，它对一个向量做“变换”：

矩阵范数就告诉你：
“这个变换器最多能把输入的向量放大多少？”

Frobenius 范数

​
表示矩阵𝐴的Frobenius 范数。

表示对矩阵中所有元素𝐴𝑖𝑗求平方，然后求和：

即：把矩阵所有元素当成一大串数字，逐个平方后加起来。

相当于对总和开平方根。

总体类似于：

对称矩阵和反对称矩阵

对称矩阵：

反对称矩阵：

置换矩阵

3 阶单位矩阵𝐼：

我们将第 1 行和第 3 行互换，得到一个置换矩阵
这个矩阵的作用是：把任意矩阵的第 1 行和第 3 行互换。

转置矩阵

给定一个矩阵 𝐴，它的转置矩阵记作 𝐴𝑇，是将原矩阵的行变为列，列变为行所得到的新矩阵。

设矩阵𝐴是：
则它的转置矩阵 𝐴𝑇是：

正交矩阵

一个实矩阵 𝑄是正交的，当满足：

也就是说，它的转置矩阵等于它的逆矩阵。

矩阵：

转置 𝑄𝑇：

再计算 𝑄𝑇*𝑄：

确实成立，所以这个矩阵是正交矩阵。

特征向量和特征值

对一个方阵𝐴如果存在一个非零向量𝑣⃗和一个标量𝜆使得：

那么：
𝑣⃗就叫做特征向量；
𝜆就叫做对应的特征值。

只要是对称矩阵，就会有特征向量。

假设矩阵为：