正态分布的奇妙性质:为什么奇数阶矩为零?
正态分布(Normal Distribution)是统计学中最常见的分布之一,它的钟形曲线几乎无处不在,从身高体重到测量误差,都能看到它的影子。除了均值和方差这两个核心参数,正态分布还有一个有趣的特性:它的奇数阶中心矩(odd central moments)全部为零,比如 ( E [ x − μ ] = 0 E[x - \mu] = 0 E[x−μ]=0 ) 和 ( E [ ( x − μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(x−μ)3]=0 )。这到底是怎么回事?今天我们就来聊聊这个性质的由来、证明,以及它背后的意义。
什么是中心矩?
在探讨奇数阶矩之前,我们先明白什么是中心矩。中心矩是描述随机变量偏离其均值 ( μ \mu μ ) 的统计量,定义为:
μ k = E [ ( x − μ ) k ] \mu_k = E[(x - \mu)^k] μk=E[(x−μ)k]
- ( k = 1 k = 1 k=1 ):一阶中心矩,( E [ x − μ ] E[x - \mu] E[x−μ] ),总是等于零(因为 ( E [ x ] = μ E[x] = \mu E[x]=μ ))。
- ( k = 2 k = 2 k=2 ):二阶中心矩,就是方差 ( σ 2 \sigma^2 σ2 )。
- ( k = 3 k = 3 k=3 ):三阶中心矩,衡量分布的偏度(skewness)。
- ( k = 4 k = 4 k=4 ):四阶中心矩,与峰度(kurtosis)相关。
对于正态分布,我们关心的是这些矩的特性,尤其是奇数阶(( k = 1 , 3 , 5 , … k = 1, 3, 5, \dots k=1,3,5,… ))的中心矩。
正态分布的奇数阶矩为零
正态分布的概率密度函数为:
p ( x ∣ μ , σ 2 ) = 1 2 π σ 2 exp ( − ( x − μ ) 2 2 σ 2 ) p(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) p(x∣μ,σ2)=2πσ21exp(−2σ2(x−μ)2)
它的一个显著特点是对称性:以均值 ( μ \mu μ ) 为中心,左右两侧完全对称。这种对称性直观地暗示了一个结论:奇数阶中心矩为零。为什么呢?
通俗解释
想象你在玩一个对称的跷跷板,中间是均值 ( μ \mu μ )。你把 ( x − μ x - \mu x−μ )(偏离均值的距离)拿来计算奇数次方,比如 ( ( x − μ ) 3 (x - \mu)^3 (x−μ)3 )。因为正态分布是对称的,对于每一个正的 ( x − μ x - \mu x−μ )(比如 +2),总有一个对应的负的 ( − ( x − μ ) - (x - \mu) −(x−μ) )(比如 -2),它们的概率密度相等。奇数次方会保留正负号:
- ( ( + 2 ) 3 = 8 (+2)^3 = 8 (+2)3=8 )
- ( ( − 2 ) 3 = − 8 (-2)^3 = -8 (−2)3=−8 )
当你把这些值按概率加权平均时,正负项正好抵消,结果为零。这种对称性是奇数阶矩为零的直观原因。
数学证明
现在,让我们用数学来证明这个性质。以 ( k = 3 k = 3 k=3 )(三阶中心矩)为例,证明 ( E [ ( x − μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(x−μ)3]=0 ),其他奇数阶的证明类似。
步骤 1:定义期望
对于 ( x ∼ N ( μ , σ 2 ) x \sim N(\mu, \sigma^2) x∼N(μ,σ2) ),三阶中心矩是:
E [ ( x − μ ) 3 ] = ∫ − ∞ ∞ ( x − μ ) 3 ⋅ 1 2 π σ 2 exp ( − ( x − μ ) 2 2 σ 2 ) d x E[(x - \mu)^3] = \int_{-\infty}^{\infty} (x - \mu)^3 \cdot \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) \, dx E[(x−μ)3]=∫−∞∞(x−μ)3⋅2πσ21exp(−2σ2(x−μ)2)dx
步骤 2:变量替换
为了简化计算,令 ( z = x − μ σ z = \frac{x - \mu}{\sigma} z=σx−μ ),则 ( x − μ = σ z x - \mu = \sigma z x−μ=σz ),( d x = σ d z dx = \sigma \, dz dx=σdz ),且 ( z ∼ N ( 0 , 1 ) z \sim N(0, 1) z∼N(0,1))(标准正态分布),概率密度为:
ϕ ( z ) = 1 2 π e − z 2 2 \phi(z) = \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} ϕ(z)=2π1e−2z2
代入后:
E [ ( x − μ ) 3 ] = ∫ − ∞ ∞ ( σ z ) 3 ⋅ 1 2 π e − z 2 2 ⋅ σ d z E[(x - \mu)^3] = \int_{-\infty}^{\infty} (\sigma z)^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \cdot \sigma \, dz E[(x−μ)3]=∫−∞∞(σz)3⋅2π1e−2z2⋅σdz
= σ 3 ∫ − ∞ ∞ z 3 ⋅ 1 2 π e − z 2 2 d z = \sigma^3 \int_{-\infty}^{\infty} z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \, dz =σ3∫−∞∞z3⋅2π1e−2z2dz
步骤 3:分析被积函数
被积函数是 ( f ( z ) = z 3 ⋅ 1 2 π e − z 2 2 f(z) = z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} f(z)=z3⋅2π1e−2z2 )。我们需要判断这个积分是否为零。关键在于 ( f ( z ) f(z) f(z) ) 的性质:
- ( z 3 z^3 z3 ) 是奇函数(odd function),因为 ( ( − z ) 3 = − z 3 (-z)^3 = -z^3 (−z)3=−z3 )。
- ( 1 2 π e − z 2 2 \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} 2π1e−2z2 ) 是偶函数(even function),因为 ( e − ( − z ) 2 2 = e − z 2 2 e^{-\frac{(-z)^2}{2}} = e^{-\frac{z^2}{2}} e−2(−z)2=e−2z2 )。
奇函数乘以偶函数的结果还是奇函数:
f ( − z ) = ( − z ) 3 ⋅ 1 2 π e − ( − z ) 2 2 = − z 3 ⋅ 1 2 π e − z 2 2 = − f ( z ) f(-z) = (-z)^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{(-z)^2}{2}} = -z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} = -f(z) f(−z)=(−z)3⋅2π1e−2(−z)2=−z3⋅2π1e−2z2=−f(z)
步骤 4:奇函数积分的性质
对于任意奇函数 ( f ( z ) f(z) f(z) ),在对称区间 ( [ − ∞ , ∞ ] [-\infty, \infty] [−∞,∞] ) 上积分(假设积分收敛):
∫ − ∞ ∞ f ( z ) d z = ∫ − ∞ 0 f ( z ) d z + ∫ 0 ∞ f ( z ) d z \int_{-\infty}^{\infty} f(z) \, dz = \int_{-\infty}^{0} f(z) \, dz + \int_{0}^{\infty} f(z) \, dz ∫−∞∞f(z)dz=∫−∞0f(z)dz+∫0∞f(z)dz
令 ( u = − z u = -z u=−z ),则:
∫ − ∞ 0 f ( z ) d z = ∫ ∞ 0 f ( − u ) ( − d u ) = ∫ 0 ∞ − f ( u ) d u = − ∫ 0 ∞ f ( u ) d u \int_{-\infty}^{0} f(z) \, dz = \int_{\infty}^{0} f(-u) (-du) = \int_{0}^{\infty} -f(u) \, du = -\int_{0}^{\infty} f(u) \, du ∫−∞0f(z)dz=∫∞0f(−u)(−du)=∫0∞−f(u)du=−∫0∞f(u)du
所以:
∫ − ∞ ∞ f ( z ) d z = − ∫ 0 ∞ f ( z ) d z + ∫ 0 ∞ f ( z ) d z = 0 \int_{-\infty}^{\infty} f(z) \, dz = -\int_{0}^{\infty} f(z) \, dz + \int_{0}^{\infty} f(z) \, dz = 0 ∫−∞∞f(z)dz=−∫0∞f(z)dz+∫0∞f(z)dz=0
对于 ( f ( z ) = z 3 ⋅ 1 2 π e − z 2 2 f(z) = z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} f(z)=z3⋅2π1e−2z2 ),由于 ( e − z 2 2 e^{-\frac{z^2}{2}} e−2z2 ) 衰减很快,积分收敛,奇函数性质保证:
∫ − ∞ ∞ z 3 ⋅ 1 2 π e − z 2 2 d z = 0 \int_{-\infty}^{\infty} z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \, dz = 0 ∫−∞∞z3⋅2π1e−2z2dz=0
因此:
E [ ( x − μ ) 3 ] = σ 3 ⋅ 0 = 0 E[(x - \mu)^3] = \sigma^3 \cdot 0 = 0 E[(x−μ)3]=σ3⋅0=0
推广到所有奇数阶
对于任意奇数 ( k = 2 n + 1 k = 2n + 1 k=2n+1 )(( n = 0 , 1 , 2 , … n = 0, 1, 2, \dots n=0,1,2,… )),( ( x − μ ) 2 n + 1 (x - \mu)^{2n+1} (x−μ)2n+1 ) 是奇函数,乘以偶函数 ( 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} 2πσ21e−2σ2(x−μ)2 ) 后仍为奇函数,积分从 ( − ∞ -\infty −∞ ) 到 ( ∞ \infty ∞ ) 为零。所以,所有奇数阶中心矩都为零。
补充信息
1. 为什么偶数阶矩不为零?
偶数次方(如 ( ( x − μ ) 2 (x - \mu)^2 (x−μ)2 ) 或 ( ( x − μ ) 4 (x - \mu)^4 (x−μ)4 ))是偶函数,乘以偶函数后仍是偶函数,积分不会抵消。例如:
- ( E [ ( x − μ ) 2 ] = σ 2 E[(x - \mu)^2] = \sigma^2 E[(x−μ)2]=σ2 )(方差)
- ( E [ ( x − μ ) 4 ] = 3 σ 4 E[(x - \mu)^4] = 3\sigma^4 E[(x−μ)4]=3σ4 )(四阶矩)
这些值反映了分布的宽度和形状。
2. 偏度的含义
三阶中心矩 ( E [ ( x − μ ) 3 ] E[(x - \mu)^3] E[(x−μ)3] ) 与偏度相关。偏度为零意味着分布没有左偏或右偏,正态分布的对称性恰好保证了这一点。如果分布不对称(例如指数分布),奇数阶矩就不为零。
3. 在统计中的应用
奇数阶矩为零在统计推断中很有用。例如,在计算Fisher信息矩阵时:
I 12 = E [ x − μ σ 2 ⋅ ( − 1 2 σ 2 + ( x − μ ) 2 2 ( σ 2 ) 2 ) ] I_{12} = E\left[ \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} + \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \right] I12=E[σ2x−μ⋅(−2σ21+2(σ2)2(x−μ)2)]
因为 ( E [ x − μ ] = 0 E[x - \mu] = 0 E[x−μ]=0 ) 和 ( E [ ( x − μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(x−μ)3]=0 ),交叉项为零,说明 ( μ \mu μ ) 和 ( σ 2 \sigma^2 σ2 ) 信息正交。
具体参考参考笔者的另一篇博客:Fisher信息矩阵(Fisher Information Matrix,简称FIM)
4. 其他分布呢?
并非所有分布的奇数阶矩都为零。例如:
- 指数分布 ( f ( x ) = λ e − λ x f(x) = \lambda e^{-\lambda x} f(x)=λe−λx )(( x ≥ 0 x \geq 0 x≥0 )),( E [ ( x − μ ) 3 ] ≠ 0 E[(x - \mu)^3] \neq 0 E[(x−μ)3]=0 ),因为它右偏。
- 对称的均匀分布也有奇数阶矩为零,但范围有限。
正态分布的无限对称支持和指数衰减共同造就了这个特性。
总结
正态分布的奇数阶中心矩为零源于其完美的对称性。奇函数与偶函数相乘后,积分在对称区间上抵消,数学上严谨地证明了这一点。这个性质不仅让正态分布更加“优雅”,还在统计估计、信息理论中简化了计算,比如保证参数间的正交性。下次看到正态分布的钟形曲线,不妨想想它隐藏的这些奇妙特性!
后记
2025年2月24日22点07分于上海,在Grok3大模型辅助下完成。