📘 线性回归中的核心：成本函数（Cost Function）
一、为什么需要成本函数？
在训练线性回归模型时，我们面对的第一个问题是：
如何判断哪条直线才是“最佳拟合”？
我们可以随意选择不同的参数 www 和 bbb 来画直线，但模型预测结果的好坏必须有一个统一的度量标准。这时，成本函数（Cost Function） 应运而生。
👉 定义：成本函数是一个数学指标，用于量化模型预测值和真实值之间的误差。优化的目标就是最小化成本函数，从而找到最优的参数组合 w∗w^*w∗ 和 b∗b^*b∗。
二、模型参数回顾
线性回归的核心公式为：
fw,b(x)=wx+bf_{w,b}(x) = wx + bfw,b(x)=wx+b
| 符号 | 名称 | 含义 |
|---|---|---|
| www | 权重 / 斜率（weight） | 控制直线的倾斜程度 |
| bbb | 偏置 / 截距（bias） | 控制直线与 y 轴的交点 |
| fw,b(x)f_{w,b}(x)fw,b(x) | 预测函数 | 输入 xxx，输出预测值 y^\hat{y}y^ |
参数 www 和 bbb 是模型需要通过训练不断优化的关键变量。
三、不同参数的直观影响
为了直观理解 www 和 bbb 的作用，可以看以下几种情况：
| 情况 | 参数 | 直线形态 | 预测行为 |
|---|---|---|---|
| 1 | w=0,b=1.5w = 0, b = 1.5w=0,b=1.5 | 水平直线 | 所有输入预测结果恒为 1.5 |
| 2 | w=0.5,b=0w = 0.5, b = 0w=0.5,b=0 | 过原点的斜线 | 随 xxx 增大而缓慢上升 |
| 3 | w=0.5,b=1w = 0.5, b = 1w=0.5,b=1 | 截距为 1 的斜线 | 在情况 2 基础上整体上移 |
👉 结论：
- www 决定直线的斜率；
- bbb 决定直线与 y 轴的交点；
- 合理的 w,bw, bw,b 组合能让直线尽可能“贴合”数据点。
四、如何量化“拟合好坏”？——成本函数的构建
1. 单个样本的误差
对于第 iii 个样本：
- 实际值：y(i)y^{(i)}y(i)
- 预测值：y^(i)=wx(i)+b\hat{y}^{(i)} = wx^{(i)} + by^(i)=wx(i)+b
误差为：
Error=y^(i)−y(i)\text{Error} = \hat{y}^{(i)} - y^{(i)}Error=y^(i)−y(i)
2. 平方误差
为了避免正负误差抵消，采用平方：
(y^(i)−y(i))2(\hat{y}^{(i)} - y^{(i)})^2(y^(i)−y(i))2
3. 总误差与平均误差
对所有 mmm 个样本求和并取平均：
1m∑i=1m(y^(i)−y(i))2\frac{1}{m} \sum_{i=1}^{m} (\hat{y}^{(i)} - y^{(i)})^2m1∑i=1m(y^(i)−y(i))2
4. 引入惯例因子 1/21/21/2
最终得到的成本函数：
J(w,b)=12m∑i=1m(wx(i)+b−y(i))2J(w, b) = \frac{1}{2m} \sum_{i=1}^{m} (wx^{(i)} + b - y^{(i)})^2J(w,b)=2m1∑i=1m(wx(i)+b−y(i))2
👉 除以 2 是为了后续求导时简化计算，不影响最小值。
五、成本函数的几种叫法
| 名称 | 含义 |
|---|---|
| 平方误差成本函数 | 以误差平方为核心定义 |
| 均方误差（MSE） | 统计学中的常见术语 |
| 损失函数（Loss Function） | 针对单个样本的误差度量 |
在回归问题中，MSE 是最常见的选择。
六、成本函数的目标
优化目标为：
minw,bJ(w,b)\min_{w, b} J(w, b)minw,bJ(w,b)
- 成本 JJJ 越小，预测越接近真实值；
- 成本 JJJ 越大，说明拟合效果差。
👉 成本函数就像一个“评分标准”，帮我们找到最佳模型参数。
七、直观理解：高成本 vs. 低成本
| 情况 | 成本大小 | 含义 |
|---|---|---|
| 高成本 | 大 | 预测值普遍偏离真实值，模型差 |
| 低成本 | 小 | 预测值接近真实值，模型好 |
比如：
- 如果预测值完全等于真实值 → J=0J=0J=0（理想情况）；
- 如果预测值偏差很大 → JJJ 迅速增大。
八、简化例子：固定 b=0b=0b=0，观察 J(w)J(w)J(w)
设训练数据为 (1,1),(2,2),(3,3)(1,1), (2,2), (3,3)(1,1),(2,2),(3,3)。
- 当 w=1w=1w=1 时：预测值完全正确，J(1)=0J(1)=0J(1)=0；
- 当 w=0.5w=0.5w=0.5 时：误差较大，J(0.5)≈0.58J(0.5)\approx 0.58J(0.5)≈0.58；
- 当 w=0w=0w=0 时：直线变成水平线，J(0)≈2.33J(0)\approx 2.33J(0)≈2.33；
- 当 w=−0.5w=-0.5w=−0.5 时：预测更糟，J(−0.5)≈5.25J(-0.5)\approx 5.25J(−0.5)≈5.25。
👉 将 J(w)J(w)J(w) 绘制成图，就是一个“碗状”的抛物线，最低点在 w=1w=1w=1。
九、从二维到三维：J(w,b)J(w,b)J(w,b) 的可视化
当 www 和 bbb 同时变化时，J(w,b)J(w,b)J(w,b) 的图像是一个三维曲面：
- 横轴：www
- 纵轴：bbb
- 高度：J(w,b)J(w,b)J(w,b)
- 形状：碗状曲面，唯一最低点对应最优解。
这种凸函数的性质保证了优化问题有唯一解。
十、等高线图：二维视角看三维碗
等高线图将三维曲面“俯视”到二维平面：
- 每条椭圆曲线表示成本函数的等值线；
- 椭圆中心是 J(w,b)J(w,b)J(w,b) 的最小值点；
- 越靠外圈，成本越大。
👉 就像看一张“地形图”：椭圆的中心是“山谷底部”，模型的目标就是找到这个最低点。
十一、案例解析：不同直线对应的成本
- 差模型：w=−0.15,b=800w=-0.15, b=800w=−0.15,b=800，直线向下倾斜，严重违背数据趋势，成本极高；
- 一般模型：w=0,b=360w=0, b=360w=0,b=360，直线水平，忽略输入特征，成本中等；
- 好模型：直线大致穿过数据点云，预测接近真实值，成本接近最小值。
👉 直观结论：拟合越好 ↔ 成本越低 ↔ 越接近椭圆中心。
十二、关键洞察总结
| 洞察 | 说明 |
|---|---|
| 成本函数是优化的指南 | 它告诉我们哪个参数组合更好 |
| 最小成本 = 最优拟合 | 找到碗底 = 找到最优 w,bw, bw,b |
| 凸函数特性 | 确保优化问题有唯一全局最小值 |
| 可视化工具 | 3D 曲面图和等高线图帮助直观理解 |
结语
通过对成本函数的系统理解，我们完成了线性回归的完整逻辑链条：
数据 → 模型 f(x)=wx+b → 成本函数 J(w,b) → 最小化 J → 最优参数 → 预测
成本函数不仅是机器学习中回归模型的基石，更是理解优化算法（如梯度下降）的前提。下一步的学习，将围绕如何通过梯度下降自动找到成本函数的最小值展开。