2025年7月9日学习笔记——模式识别与机器学习——fisher线性回归、感知器、最小二乘法、最小误差判别算法、罗杰斯特回归算法——线性分类器

一.学习资料

1.PPT：lecture02&03
2.**百度网盘笔记：**我用百度网盘分享了一篇笔记《第三章线性学习机器02_笔记》，链接：https://pan.baidu.com/fcb/s?share_uk=4105253989&share_id=euIGfoZcGxmkAkKj7qtkgvH3lLuDbq9XLUckeYb1Zlp

二.引言

1.模式识别的目的：

在特征空间中设法找到两类或多类之间的分界面，估计概率密度并不是我们的目的。

2.两步贝叶斯决策：

（1）根据样本进行概率密度估计
（2）根据估计的概率密度函数求分类面

如果可以直接根据样本求分类面，可以省略对概率密度函数的估计。

1.样本为正态分布、各类协方差矩阵相等的条件下，贝叶斯决策的最优分类面是线性的。
2.如果知道判别函数的形式，可以设法从数据中直接估计这种判别函数中的参数。
3.即使不知道最优的判别函数是什么形式，仍然可以根据需要或者对为题的理解设定判别函数类型

3.基于样本直接设计分类器的三个基本要素：

1.确定分类器（判别函数）的类型:也就是从什么样的判别函数类（函数集）中去求解。
2.确定分类器设计的目标和准则，在确定了设计准则后，分类器设计就是根据样本从事先决定的函数集中选择在该准则下最优的函数，通常就是确定函数类中的某些参数。
3.设计算法利用样本数据搜索到最后的函数参数。

形式化表示：在判别函数集 { g ( α ) , α ∈ λ } \{g(\alpha),\alpha∈\lambda\} {g(α),α∈λ}中确定待定参数${\alpha }^{\ast }$,使得准则函数$L(\alpha )$最小（或者最大）即$L({\alpha }^{\ast })=minL(\alpha )$

三.线性判别函数的基本概念

1.一般表达式

$$g(x)=w^{T}x+w_0$$

（1）$x$是$d$维特征向量，又称为样本向量。
（2）$w$又称为权向量。
（3）$w_0$是阈值权

$$x=\left\{\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_d\end{array}\right\},w=\left\{\begin{array}{c}{w}_1\\ w_2\\ ...\\ w_d\end{array}\right\}$$

其他推导可以看教材，这里不多赘述

2.总结

总之利用线性判别函数进行决策，就是利用一个超平面把特征空间分割成两个决策区域。

1.把所有样本都投影到一个方向上
2.在这个一维空间中确定一个分类的与之
过这个阈值点与投影方向垂直的超平面就是两类的分类面。

四.Fisher线性判别分析

1.选择投影方向准则

使投影后两类像个尽可能远，而同时每一类内部的样本又尽可能聚集。

2.基本概念

训练样本集 χ = { x 1 , x 2 , . . . , x N } \chi=\{x_1,x_2,...,x_N\} χ={x1​,x2​,...,xN​}
写公式太麻烦了，自己看书吧，剩下的在百度网盘的笔记里