最小二乘法的算法原理

最小二乘法的算法原理、推导及应用举例

一、算法原理

最小二乘法（Least Squares Method）是一种数学优化技术，核心思想是通过最小化预测值与真实值之间的残差平方和，找到模型参数的最优解。其核心目标可表示为：
$$\underset{\beta }{\min }\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$
其中：

• $(y_i)$ 为观测值，$({\hat{y}}_i=f(x_i;\beta ))$ 为模型预测值。
• $(\beta )$ 为待估计的参数。

二、线性最小二乘法的推导

以线性回归模型为例，假设模型为：
$$y=X\beta +ϵ$$
其中：

• $(X)$ 是 $(n\times (m+1))$ 的设计矩阵（包含截距项）。
• $(\beta )$ 是 $((m+1)\times 1)$ 的参数向量。
• $(ϵ)$ 是误差项。

目标函数为残差平方和：
$$S=(y-X\beta {)}^T(y-X\beta )$$

推导步骤：

1. 展开目标函数：
   $$S=y^{T}y-2{\beta }^T{X}^{T}y+{\beta }^T{X}^{T}X\beta$$
2. 对 ( \beta ) 求导并令导数为零：
   $$\frac{\partial S}{\partial \beta }=-2X^{T}y+2X^{T}X\beta =0$$
3. 解得正规方程（Normal Equation）：
   $$X^{T}X\beta =X^{T}y$$
4. 若 $(X^{T}X)$ 可逆，则参数解为：
   $$\beta =(X^{T}X{)}^{-1}{X}^{T}y$$

三、几何解释

最小二乘法的几何意义是：将观测值 ( y ) 投影到设计矩阵 ( X ) 的列空间，使得残差向量 $(ϵ=y-X\beta )$ 垂直于该空间。
投影矩阵 $(P=X(X^{T}X{)}^{-1}{X}^T)$，预测值为：
$$\hat{y}=Py$$

四、应用举例

1. 线性回归（房价预测）

• 问题：根据房屋面积 ( x ) 预测价格 ( y )。

• 模型：$(y={\beta }_0+{\beta }_{1}x)$

• 数据：

  面积（m²）	价格（万元）
  50	300
  80	480
  100	550

• 矩阵形式：
  $$X=\left[\begin{array}{cc}1& 50\\ 1& 80\\ 1& 100\end{array}\right],y=\left[\begin{array}{c}300\\ 480\\ 550\end{array}\right]$$

• 解：
  $$\beta =(X^{T}X{)}^{-1}{X}^{T}y\approx \left[\begin{array}{c}100\\ 4.5\end{array}\right]$$
  最终模型：$(\hat{y}=100+4.5x)$

2. 多项式拟合（曲线拟合）

• 问题：用二次多项式拟合实验数据 $((x_i,y_i))$。
• 模型：$(y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2)$
• 设计矩阵：
  $$X=\left[\begin{array}{ccc}1& x_1& x_1^2\\ 1& x_2& x_2^2\\ ⋮& ⋮& ⋮\end{array}\right]$$
• 解：通过 $(\beta =(X^{T}X{)}^{-1}{X}^{T}y)$ 计算系数。

3. 信号处理（滤波器设计）

• 问题：设计滤波器系数，使输出信号尽可能接近目标信号。
• 模型：$(y=H\beta )$，其中 ( H ) 为输入信号的卷积矩阵。
• 解：利用最小二乘法优化滤波器系数 $(\beta )$。

五、优缺点

• 优点：
  • 闭式解存在时计算高效。
  • 在误差服从高斯分布时，解为最大似然估计。
• 缺点：
  • 对异常值敏感（平方误差放大离群点影响）。
  • 需保证$(X^{T}X)$ 可逆（可通过正则化解决）。

六、扩展：非线性最小二乘

对于非线性模型（如 $(y=e^{\beta x})$），需使用迭代方法（如高斯-牛顿法或Levenberg-Marquardt算法）求解,后面章节进行讲解。