【机器学习】线性回归 线性回归模型的损失函数 MSE RMSE MAE R方

V1.0

损失函数的计算方法

线性回归模型的单一特征向量的损失为$y_{i_{real}}-y_{i_{predict}}$，即特征标签真实值减去特征的预测值。
总体损失为单一特征向量的损失进行投票的结果，根据投票方式的不同，得到不同的损失函数。

损失函数的分类

在实际使用中经常使用的损失函数

• MSE (Mean Squared Error) 均方误差
• RMSE (Root Mean Squared Error) 均方根误差
• MAE (Mean Average Error) 平均绝对误差
• $R^2$ (Coefficient of Determination) R方误差

MSE (Mean Squared Error)

公式如下：
$$\frac{1}{n}\sum _{i=1}^m(y_{real}-y_{predict}{)}^2$$
MSE是最常用的线性回归模型的损失函数。

RMSE (Root Mean Squared Error)

公式如下：
$$\sqrt{\frac{1}{n}\sum _{i=1}^m(y_{real}-y_{predict}{)}^2}$$
RMSE即MSE取平方根，因为MSE在求解时，特征向量的偏差越大，对损失值的贡献也越大，是平方级别的，RMSE取MSE的平方根可以消除量纲的影响。

MAE (Mean Average Error)

公式如下：
$$\frac{1}{n}\sum _{i=1}^m|y_{real}-y_{predict}|$$

$R^2$ (Coefficient of Determination)

公式如下：
$$1-\frac{\sum (y_{real}-y_{predict}{)}^2}{\sum (y_{real}-\bar{y}{)}^2}$$
R方损失的上界为1，在此时分式的分子为0，即所有预测数据与真实数据均相等，在数据偏差很大时，即分子大于分母时，R方损失可能会小于0。
R方损失公式中的分子，如果乘以$\frac{1}{n}$，就会变成MSE ($\frac{1}{n}\sum (y_{real}-y_{predict}{)}^2$)。分母如果乘以$\frac{1}{n}$就会变成方差 ($\sum (y_{real}-\bar{y}{)}^2$) 。

因此，R方损失也可以记为：
$$1-\frac{MSE}{Variance}$$

损失函数的用途

MSE，RMSE和MAE常用作线性模型求解时的损失函数。
R方经常被用来评价线性回归模型。