切比雪夫不等式的理解以及推导【超详细笔记】

参考教程

一个视频，彻底理解切比雪夫不等式

一、意义

1. 正态分布的 3σ 法则

• 不等式：切比雪夫不等式 P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 P\{|X - EX| \geq \varepsilon\} \leq \frac{DX}{\varepsilon^2} P{∣X−EX∣≥ε}≤ε2DX​，用于描述随机变量偏离期望的概率上界
• 法则：正态分布的 3σ 法则
  
• 分布表示：正态分布 $N(\mu ,{\sigma }^2)$（图中标注对应分布形态 ）
• 概率占比：
  • $\mu \pm \sigma$ 区间概率约 68.2%
  • $\mu \pm 2\sigma$ 区间概率约 95.4%
  • $\mu \pm 3\sigma$ 区间概率约 99.7%

2. 不等式的含义

切比雪夫不等式公式的另一种形式：

P { ∣ X − E X ∣ < ε } ≥ 1 − D X ε 2 P\{|X - EX| < \varepsilon\} \geq 1 - \frac{DX}{\varepsilon^2} P{∣X−EX∣<ε}≥1−ε2DX​

（其中 ( X ) 是随机变量，( EX ) 为其期望，( DX ) 为方差，( \varepsilon ) 是任意正数 ）

$|X-EX|$就是X到均值的距离
这个公式就是对$|X-EX|<\epsilon$这件事的概率做估计

3. 不等式的意义

• 当 $\epsilon$ = $\sigma$ 时：
  P { ∣ X − E X ∣ < σ } ≥ 1 − σ 2 σ 2 = 0 P\{|X - EX| < \sigma\} \geq 1 - \frac{\sigma^2}{\sigma^2} = 0 P{∣X−EX∣<σ}≥1−σ2σ2​=0

• 当 $\epsilon$ = $2\sigma$ 时：
  P { ∣ X − E X ∣ < 2 σ } ≥ 1 − σ 2 ( 2 σ ) 2 = 1 − 1 4 = 3 4 = 75 % P\{|X - EX| < 2\sigma\} \geq 1 - \frac{\sigma^2}{(2\sigma)^2} = 1 - \frac{1}{4} = \frac{3}{4} = 75\% P{∣X−EX∣<2σ}≥1−(2σ)2σ2​=1−41​=43​=75%
  由此可见切比雪夫的估计比较保守

假如随便画一个分布，求阴影部分概率，切比雪夫不等式告诉我们这个概率一定大于等于75%，这就是其高明之处

二、不等式的证明

1. 马尔科夫不等式

• 公式： P { Y ≥ a } ≤ E Y a P\{ Y \geq a \} \leq \frac{EY}{a} P{Y≥a}≤aEY​ ($Y$ 取非负 ）
  

马尔可夫不等式证明($Y$ 为非负随机变量 ）

1. 由期望定义，$Y$ 的数学期望：
   $$EY={\int }_0^{+\infty }y\cdot f(y)dy$$

2. 因$Y\ge 0$，且积分区间可拆分，当$y\ge a$ 时$y\ge a$，故：
   $$EY\ge {\int }_a^{+\infty }y\cdot f(y)dy\ge {\int }_a^{+\infty }a\cdot f(y)dy$$

3. 化简右侧积分：
   ∫ a + ∞ a ⋅ f ( y )   d y = a ⋅ ∫ a + ∞ f ( y )   d y = a ⋅ P { Y ≥ a } \int_{a}^{+\infty} a \cdot f(y) \, dy = a \cdot \int_{a}^{+\infty} f(y) \, dy = a \cdot P\{ Y \geq a \} ∫a+∞​a⋅f(y)dy=a⋅∫a+∞​f(y)dy=a⋅P{Y≥a}

4. 综上，整理得：
   P { Y ≥ a } ≤ E Y a P\{ Y \geq a \} \leq \frac{EY}{a} P{Y≥a}≤aEY​

2. 切比雪夫不等式推导

1. 基础：马尔可夫不等式
   P { Y ≥ a } ≤ E Y a P\{ Y \geq a \} \leq \frac{EY}{a} P{Y≥a}≤aEY​
   （其中 ( Y ) 为非负随机变量 ）

2. 变量代换：
   令 $Y=(X-EX{)}^2$，$a={\epsilon }^2$

3. 代入推导：

   • 第一步推导：
     $$P\{(X-EX{)}^2\ge {\epsilon }^2\}\le \frac{E\left[(X-EX{)}^2\right]}{{\epsilon }^2}$$
   • 因 $$E\left[(X-EX{)}^2\right]=DX$$（方差定义 ），且 $$(X-EX{)}^2\ge {\epsilon }^2\iff |X-EX|\ge \epsilon$$ ，进一步得：
     P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 P\{ |X - EX| \geq \varepsilon \} \leq \frac{DX}{\varepsilon^2} P{∣X−EX∣≥ε}≤ε2DX​