Norm Ball（范数球） Norm Cone（范数锥）

1. Norm Ball（范数球）

Norm ball（范数球）是指由特定范数约束下的一组点所形成的区域。假设我们有一个向量空间 ${\mathbb{R}}^n$ 和某种范数 $\Vert \cdot \Vert$，那么一个以原点为中心、半径为 $r$​ 的范数球可以定义为：
B r = { x ∈ R n : ∥ x ∥ ≤ r } B_r = \{x \in \mathbb{R}^n : \|x\| \leq r\} Br​={x∈Rn:∥x∥≤r}
其中：

• $\Vert x\Vert$ 表示向量 $x$ 的范数。
• $r$ 是范数球的半径。

不同的范数会导致不同形状的范数球。例如：

(a) ${\ell }_2$ 范数（欧几里得范数）

对于 ${\ell }_2$ 范数（即欧几里得范数），范数球是圆形或球形的，公式为：
B r ℓ 2 = { x ∈ R n : ∥ x ∥ 2 = ( ∑ i = 1 n x i 2 ) 1 / 2 ≤ r } B_r^{\ell_2} = \{x \in \mathbb{R}^n : \|x\|_2 = \left( \sum_{i=1}^n x_i^2 \right)^{1/2} \leq r\} Brℓ2​​={x∈Rn:∥x∥2​=(i=1∑n​xi2​)1/2≤r}
在二维情况下，范数球是一个圆形；在三维情况下，它是一个球。

(b) ${\ell }_1$ 范数

对于${\ell }_1$​ 范数，范数球呈菱形，定义为：
B r ℓ 1 = { x ∈ R n : ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ ≤ r } B_r^{\ell_1} = \{x \in \mathbb{R}^n : \|x\|_1 = \sum_{i=1}^n |x_i| \leq r\} Brℓ1​​={x∈Rn:∥x∥1​=i=1∑n​∣xi​∣≤r}
在二维情况下，它是一个菱形；在三维情况下，它看起来像一个菱形截断体（diamond shape）。

例：在二维空间中（即${\mathbb{R}}^2$），向量 $x$ 有两个分量 $x_1$ 和$x_2$，此时 ${\ell }_1$​ 范数的定义为：
$$\Vert x{\Vert }_1=|x_1|+|x_2|$$
范数球的定义是满足以下条件的所有点的集合：
$$|x_1|+|x_2|\le r$$
我们可以通过一些典型的边界点来理解这个几何形状。假设半径$r=1$，我们考虑以下几种极端情况：

1. 如果 $x_1=1$，则 $x_2=0$；
2. 如果 $x_1=-1$，则 $x_2=0$；
3. 如果 $x_2=1$，则 $x_1=0$；
4. 如果 $x_2=-1$，则 $x_1=0$。

因此，这些点包括：

• $(1,0)$
• $(-1,0)$
• $(0,1)$
• $(0,-1)$

如果我们把这些点画出来，它们在二维坐标系上正好是一个菱形的四个顶点。这是因为对于${\ell }_1$ 范数的范数球来说，向量的坐标和不能超过给定的半径，这种限制形成了一个菱形。

因此，二维空间中的 ${\ell }_1$​ 范数球实际上就是这个菱形。

在三维情况下的几何解释：

在三维空间中（即 ${\mathbb{R}}^3$），我们有三个分量$x_1$、$x_2$、$x_3$，范数球的定义变成：
$$|x_1|+|x_2|+|x_3|\le r$$
在三维空间中，这个集合会形成一个菱形截断体，类似一个三维钻石形状的多面体。因为在每个维度上，我们都用绝对值相加，所以当你把这些点在三维空间中描绘出来时，结果是一个对称的多面体，它看起来像一个“钻石”形状。

( C) ${\ell }_{\infty }$ 范数

对于 ${\ell }_{\infty }$范数，范数球是一个超立方体（cube），定义为：
B r ℓ ∞ = { x ∈ R n : ∥ x ∥ ∞ = max ⁡ i ∣ x i ∣ ≤ r } B_r^{\ell_\infty} = \{x \in \mathbb{R}^n : \|x\|_\infty = \max_{i} |x_i| \leq r\} Brℓ∞​​={x∈Rn:∥x∥∞​=imax​∣xi​∣≤r}
在二维情况下，它是一个正方形；在三维情况下，它是一个立方体。

例：在二维空间中（即 ${\mathbb{R}}^2$），向量 $x$ 有两个分量 $x_1$ 和 $x_2$，此时 ${\ell }_{\infty }$​ 范数的定义为：
$$\Vert x{\Vert }_{\infty }=\max (|x_1|,|x_2|)$$
范数球的定义是满足以下条件的所有点的集合：
$$\max (|x_1|,|x_2|)\le r$$
这意味着：

• $x_1$ 和 $x_2$ 的绝对值都不能超过 $r$。
• 在几何上，所有满足这个条件的点在二维空间中构成了一个正方形，它的边界由点 $(r,r)$、$(-r,r)$、$(r,-r)$ 和 $(-r,-r)$构成。

假设 $r=1$，那么：

• $x_1$ 和$x_2$ 的取值范围是 $[-1,1]$。
• 对于每一个坐标分量，我们限制它的取值不超过 1，这就形成了在二维平面上一个边长为 2 的正方形，顶点分别为$(1,1)$、$(-1,1)$、$(1,-1)$、$(-1,-1)$。

因此，${\ell }_{\infty }$ 范数球在二维情况下是一个正方形。

在三维空间中（即 ${\mathbb{R}}^3$），向量 $x$ 有三个分量 $x_1$、$x_2$、$x_3$​，范数球的定义是：
$$\max (|x_1|,|x_2|,|x_3|)\le r$$
这意味着：

• $x_1$、$x_2$、$x_3$ 的绝对值都不能超过 $r$。
• 在几何上，所有满足这个条件的点在三维空间中构成了一个立方体，它的顶点是$(r,r,r)$、$(-r,r,r)$、$(r,-r,r)$ 等等。

假设 $r=1$，那么：

• $x_1$、$x_2$、$x_3$ 的取值范围是$[-1,1]$。
• 对于每一个坐标分量，限制它的取值范围不超过 1，这在三维空间中就形成了一个边长为 2 的立方体。

因此，${\ell }_{\infty }$​ 范数球在三维情况下是一个立方体。

2. Norm Cone（范数锥）

Norm cone（范数锥）是范数与正实数的乘积的集合，定义为：
$$C=\{(\alpha ,x)\in \mathbb{R}\times {\mathbb{R}}^n:\Vert x\Vert \le \alpha ,\alpha \ge 0\}$$
其中 $\alpha$是一个非负实数，$\Vert x\Vert$ 是一个向量 $x$ 的范数。

范数锥在几何上可以理解为一个通过拉伸或缩放范数球所形成的无穷延伸的锥体。例如：

(a) ${\ell }_2$范数锥

对于 ${\ell }_2$​​ 范数，范数锥看起来像一个标准的圆锥，它的截面是以原点为中心的圆形。这在优化问题中非常常见，特别是在二次规划和凸优化中。

假设我们在二维空间中讨论${\ell }_2$ 范数（即欧几里得范数），其对应的范数球是一个圆形。范数锥在这种情况下可以表示为一个沿着 $\alpha$ 方向无限延伸的圆锥。

具体解释：

• 当 $\alpha =1$ 时，范数锥的横截面就是一个半径为 1 的范数球（即圆形）。
• 当 $\alpha =2$ 时，范数锥的横截面是一个半径为 2 的圆形。
• 当 $\alpha $ 增加时，范数锥的横截面对应的范数球逐渐变大，形成一个向上延伸的锥体。

这种拉伸的过程可以看作是我们将原来的范数球无限向上拉伸，形成了一个“圆锥体”，顶点位于原点，而随着$\alpha$​ 的增加，横截面的半径逐渐增加。

(b) ${\ell }_1$ 范数锥

对于 ${\ell }_1$ 范数，范数锥的截面是菱形，因此它的几何外形是一个“钻石锥”。

( c ) ${\ell }_{\infty }$ 范数锥

对于 ${\ell }_{\infty }$ 范数，范数锥的截面是一个正方形，因此形成的锥体是一个类似立方体的锥。

3. 几何解释与应用

几何解释：

• Norm Ball 可以看作是在向量空间中以原点为中心的一个限制区域，限制某些向量的长度或能量（取决于范数的类型）。
• Norm Cone 是 Norm Ball 的无穷延伸，表示在某种范数约束下，向量长度可以与正实数进行线性缩放。

应用：

• 在优化问题中，范数球通常用于约束优化变量的大小，例如：在凸优化、稀疏优化（如Lasso回归）中，范数球约束常用于正则化。
• 范数锥广泛用于锥规划（cone programming）中，如二阶锥规划（SOCP）和半定规划（SDP）中。这些规划问题通过范数锥来建模和求解问题中的几何约束。

4. 总结

• 范数球是一种有限大小的几何区域，它包含了所有符合某种范数约束的点。
• 范数锥是一个无穷延伸的锥形区域，它通过缩放范数球形成。