【漫话机器学习系列】099.L1范数（L1 Norm）-EW帮帮网

L1范数（L1 Norm）详解

L1 范数（L1 Norm），也称为曼哈顿范数（Manhattan Norm）或出租车范数（Taxicab Norm），是一种常见的向量范数，在数学、机器学习、统计学和信号处理等领域都有广泛应用。L1 范数的定义非常简单，即向量各个元素的绝对值之和，其数学表达式如下：

$\|x\|_1 = \sum_{i=1}^{n} |x_i|$

其中：

L1 范数的名字“曼哈顿范数”来源于曼哈顿的街道布局。在曼哈顿，道路呈现出网格状布局，汽车行驶时只能沿着垂直或水平方向移动，无法沿着对角线直接到达目的地。因此，在计算两点之间的距离时，需要沿着网格路线行进，而不是直线，这样的距离计算方式与 L1 范数的计算方式一致。

L1 范数可以用于衡量向量的“大小”，但其几何意义与欧几里得范数（L2 范数）不同。在二维空间中，L1 范数的几何特征如下：

曼哈顿距离（Manhattan Distance）
- L1 范数可以用于计算曼哈顿距离，即从一个点到另一个点需要沿着坐标轴方向走的总步长。例如，在二维坐标系中，从点 $(x_1, y_1)$ 到 $(x_2, y_2)$ 的 L1 距离为：
  $d = |x_2 - x_1| + |y_2 - y_1|$
- 如图所示，L1 距离对应的是沿着网格路径前进的方式，而不是直线方式。
L1 范数单位球
- 在二维空间中，L1 范数等于 1 的点集形成菱形（diamond shape），而不是 L2 范数中的圆形。这意味着使用 L1 范数度量向量长度时，它的等值集合（等距点）不是圆，而是一个正方形旋转 45° 后的菱形。

L1 范数在机器学习中主要用于正则化，即在模型优化过程中防止过拟合。

L1 正则化（Lasso 回归）
- 在回归问题中，L1 正则化通过在损失函数中加入 L1 范数项来对模型进行约束：
  $L(w) = \sum (y_i - f(x_i))^2 + \lambda \sum |w_i|$
- 其中，λ 是正则化系数， $w_i$ 是回归系数。
- L1 正则化的一个重要特性是会使某些权重变为 0，从而实现特征选择。这对于高维数据（如文本分类）非常有用。
稀疏特征选择
- L1 范数的惩罚作用使得模型中的许多权重变为零，从而自动选择最重要的特征。这在高维数据（如基因数据分析、文本分类）中尤其重要。

L1 范数在信号处理和压缩感知（Compressed Sensing）领域也有重要应用。

压缩感知（Compressed Sensing）
- 在信号处理中，我们希望从少量观测值中恢复原始信号。L1 范数的稀疏性可以用于构造优化问题，从而精确恢复信号：
  $\min_x \|x\|_1 \quad \text{subject to} \quad Ax = bx$
- 这种优化问题可以用来解决稀疏信号重建问题。
图像处理
- L1 范数在图像去噪、图像分解等任务中被广泛使用。例如，总变差去噪（Total Variation Denoising） 就是利用 L1 范数来去除噪声，同时保留图像的边缘信息。

L1 范数和 L2 范数是最常见的两种范数，它们在数学计算和应用中有不同的特性。

L1 范数是一种简单但强大的数学工具，广泛应用于机器学习、信号处理、图像分析等领域。它的稀疏性特征使得它在特征选择、压缩感知和优化问题中具有重要作用。

核心总结：

L1 范数的独特特性使其在机器学习、优化、信号处理等多个领域都有重要作用。希望本文能帮助你更好地理解 L1 范数及其应用！