DataWhale-吃瓜教程学习笔记（四）

学习视频：第3章-二分类线性判别分析_哔哩哔哩_bilibili
西瓜书对应章节： 3.4

- 算法原理

- 损失函数推导

--------------------------------------- 投影后 ----------------------------------------------

– 异类样本中心尽可能远

– 同类样本方差尽可能小

– 综合

分母为 同类样本之间的关系，分子为异类样本之间的关系，使分子尽量小（同类样本方差尽可能小），分母尽量大（异类样本中心尽量远），则有 $Max$ $J$

知识点补充 - 二范数

二范数（2-norm）详解

定义

对于一个n维欧几里得空间中的向量 $\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^{\text{T}}$，其二范数定义为： $\Vert \mathbf{x}{\Vert }_2=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}=\sqrt{{\mathbf{x}}^{\text{T}}\mathbf{x}}$

几何意义

在二维或三维空间中，二范数表示向量末端到原点的欧几里得距离。例如，在二维空间中，向量 $\mathbf{x}=[x_1,x_2{]}^{\text{T}}$ 的二范数表示为：
$\Vert \mathbf{x}{\Vert }_2=\sqrt{x_1^2+x_2^2}$
这正是勾股定理的直接应用，表示向量 $\mathbf{x}$ 在平面上的长度。

性质

1. 非负性：对于所有向量 $\mathbf{x}，\Vert \mathbf{x}{\Vert }_2\ge 0，且\Vert \mathbf{x}{\Vert }_2=0当且仅当\mathbf{x}=0$。
2. 齐次性：对于所有向量 $\mathbf{x}$ 和所有标量 $c$，$\Vert c\mathbf{x}{\Vert }_2=|c|\Vert \mathbf{x}{\Vert }_2$。
3. 三角不等式：对于所有向量 $\mathbf{x}$ 和 $\mathbf{y}$，$\Vert \mathbf{x}+\mathbf{y}{\Vert }_2\le \Vert \mathbf{x}{\Vert }_2+\Vert \mathbf{y}{\Vert }_2$。

应用

二范数在数值分析、机器学习、信号处理等领域有广泛应用。例如，在机器学习中，二范数常用于正则化项，以防止模型过拟合；在信号处理中，二范数用于衡量信号的能量。

示例

考虑向量 $\mathbf{x}=[3,4{]}^{\text{T}}$，其二范数为：$\Vert \mathbf{x}{\Vert }_2=\sqrt{3^2+4^2}=\sqrt{9+16}=\sqrt{25}=5$。

这表示向量 (\mathbf{x}) 在二维空间中的长度为5。

求解 w

• 利用 拉格朗日乘子法 对该式子进行转化
  

知识点补充 - 广义瑞利商

广义瑞利商（Generalized Rayleigh Quotient）是一种在数学和工程中广泛使用的概念，特别是在信号处理、模式识别和最优化问题中。它是经典瑞利商的推广，用于衡量向量在不同矩阵（通常是对称正定矩阵）下的分布情况。

定义

广义瑞利商的形式如下：

$R(\mathbf{w})=\frac{{\mathbf{w}}^{\top }\mathbf{Aw}}{{\mathbf{w}}^{\top }\mathbf{Bw}}$

其中，$\mathbf{A}$ 和 $\mathbf{B}$ 是对称矩阵，$\mathbf{B}$ 通常是正定的，$\mathbf{w}$ 是一个非零向量。

解释

• $\mathbf{A}$ 通常表示待优化的问题中涉及的矩阵，例如散布矩阵或相关矩阵。
• $\mathbf{B}$ 通常表示一个约束矩阵，比如在模式识别中的类内散布矩阵或协方差矩阵。
• $\mathbf{w}$ 是我们要寻找的向量，使得广义瑞利商 $R(\mathbf{w})$ 达到最大或最小。

应用

1. 线性判别分析 (LDA)：
   在模式识别中，LDA 通过最大化类间散布矩阵$\mathbf{S}$与类内散布矩阵 ${\mathbf{S}}_w$的广义瑞利商来找到最优的投影方向：
   $R(\mathbf{w})=\frac{{\mathbf{w}}^{\top }{\mathbf{S}}_b\mathbf{w}}{{\mathbf{w}}^{\top }{\mathbf{S}}_w\mathbf{w}}$

2. 特征值问题：
   广义瑞利商的极值问题可以转化为广义特征值问题，解决矩阵 $\mathbf{Aw}=\lambda \mathbf{Bw}$ 中的特征值 $\lambda$ 和特征向量 $\mathbf{w}$。

3. 振动分析：
   在结构工程和机械工程中，用于分析系统在不同状态下的振动模式。

优化广义瑞利商

求解广义瑞利商最大化或最小化的问题通常涉及求解广义特征值问题：
$\mathbf{Aw}=\lambda \mathbf{Bw}$
其中，$\lambda$ 是广义瑞利商的极值。

通过解这个特征值问题，可以得到使广义瑞利商达到极值的 $\mathbf{w}$ 和对应的特征值 $\lambda$。