正态分布的奇妙性质:为什么奇数阶中心矩(odd central moments)为零?

发布于:2025-02-25 ⋅ 阅读:(16) ⋅ 点赞:(0)

正态分布的奇妙性质:为什么奇数阶矩为零?

正态分布(Normal Distribution)是统计学中最常见的分布之一,它的钟形曲线几乎无处不在,从身高体重到测量误差,都能看到它的影子。除了均值和方差这两个核心参数,正态分布还有一个有趣的特性:它的奇数阶中心矩(odd central moments)全部为零,比如 ( E [ x − μ ] = 0 E[x - \mu] = 0 E[xμ]=0 ) 和 ( E [ ( x − μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(xμ)3]=0 )。这到底是怎么回事?今天我们就来聊聊这个性质的由来、证明,以及它背后的意义。


什么是中心矩?

在探讨奇数阶矩之前,我们先明白什么是中心矩。中心矩是描述随机变量偏离其均值 ( μ \mu μ ) 的统计量,定义为:

μ k = E [ ( x − μ ) k ] \mu_k = E[(x - \mu)^k] μk=E[(xμ)k]

  • ( k = 1 k = 1 k=1 ):一阶中心矩,( E [ x − μ ] E[x - \mu] E[xμ] ),总是等于零(因为 ( E [ x ] = μ E[x] = \mu E[x]=μ ))。
  • ( k = 2 k = 2 k=2 ):二阶中心矩,就是方差 ( σ 2 \sigma^2 σ2 )。
  • ( k = 3 k = 3 k=3 ):三阶中心矩,衡量分布的偏度(skewness)。
  • ( k = 4 k = 4 k=4 ):四阶中心矩,与峰度(kurtosis)相关。

对于正态分布,我们关心的是这些矩的特性,尤其是奇数阶(( k = 1 , 3 , 5 , … k = 1, 3, 5, \dots k=1,3,5, ))的中心矩。


正态分布的奇数阶矩为零

正态分布的概率密度函数为:

p ( x ∣ μ , σ 2 ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) p(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) p(xμ,σ2)=2πσ2 1exp(2σ2(xμ)2)

它的一个显著特点是对称性:以均值 ( μ \mu μ ) 为中心,左右两侧完全对称。这种对称性直观地暗示了一个结论:奇数阶中心矩为零。为什么呢?

通俗解释

想象你在玩一个对称的跷跷板,中间是均值 ( μ \mu μ )。你把 ( x − μ x - \mu xμ )(偏离均值的距离)拿来计算奇数次方,比如 ( ( x − μ ) 3 (x - \mu)^3 (xμ)3 )。因为正态分布是对称的,对于每一个正的 ( x − μ x - \mu xμ )(比如 +2),总有一个对应的负的 ( − ( x − μ ) - (x - \mu) (xμ) )(比如 -2),它们的概率密度相等。奇数次方会保留正负号:

  • ( ( + 2 ) 3 = 8 (+2)^3 = 8 (+2)3=8 )
  • ( ( − 2 ) 3 = − 8 (-2)^3 = -8 (2)3=8 )

当你把这些值按概率加权平均时,正负项正好抵消,结果为零。这种对称性是奇数阶矩为零的直观原因。


数学证明

现在,让我们用数学来证明这个性质。以 ( k = 3 k = 3 k=3 )(三阶中心矩)为例,证明 ( E [ ( x − μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(xμ)3]=0 ),其他奇数阶的证明类似。

步骤 1:定义期望

对于 ( x ∼ N ( μ , σ 2 ) x \sim N(\mu, \sigma^2) xN(μ,σ2) ),三阶中心矩是:

E [ ( x − μ ) 3 ] = ∫ − ∞ ∞ ( x − μ ) 3 ⋅ 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 )   d x E[(x - \mu)^3] = \int_{-\infty}^{\infty} (x - \mu)^3 \cdot \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) \, dx E[(xμ)3]=(xμ)32πσ2 1exp(2σ2(xμ)2)dx

步骤 2:变量替换

为了简化计算,令 ( z = x − μ σ z = \frac{x - \mu}{\sigma} z=σxμ ),则 ( x − μ = σ z x - \mu = \sigma z xμ=σz ),( d x = σ   d z dx = \sigma \, dz dx=σdz ),且 ( z ∼ N ( 0 , 1 ) z \sim N(0, 1) zN(0,1))(标准正态分布),概率密度为:

ϕ ( z ) = 1 2 π e − z 2 2 \phi(z) = \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} ϕ(z)=2π 1e2z2

代入后:

E [ ( x − μ ) 3 ] = ∫ − ∞ ∞ ( σ z ) 3 ⋅ 1 2 π e − z 2 2 ⋅ σ   d z E[(x - \mu)^3] = \int_{-\infty}^{\infty} (\sigma z)^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \cdot \sigma \, dz E[(xμ)3]=(σz)32π 1e2z2σdz

= σ 3 ∫ − ∞ ∞ z 3 ⋅ 1 2 π e − z 2 2   d z = \sigma^3 \int_{-\infty}^{\infty} z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \, dz =σ3z32π 1e2z2dz

步骤 3:分析被积函数

被积函数是 ( f ( z ) = z 3 ⋅ 1 2 π e − z 2 2 f(z) = z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} f(z)=z32π 1e2z2 )。我们需要判断这个积分是否为零。关键在于 ( f ( z ) f(z) f(z) ) 的性质:

  • ( z 3 z^3 z3 ) 是奇函数(odd function),因为 ( ( − z ) 3 = − z 3 (-z)^3 = -z^3 (z)3=z3 )。
  • ( 1 2 π e − z 2 2 \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} 2π 1e2z2 ) 是偶函数(even function),因为 ( e − ( − z ) 2 2 = e − z 2 2 e^{-\frac{(-z)^2}{2}} = e^{-\frac{z^2}{2}} e2(z)2=e2z2 )。

奇函数乘以偶函数的结果还是奇函数:

f ( − z ) = ( − z ) 3 ⋅ 1 2 π e − ( − z ) 2 2 = − z 3 ⋅ 1 2 π e − z 2 2 = − f ( z ) f(-z) = (-z)^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{(-z)^2}{2}} = -z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} = -f(z) f(z)=(z)32π 1e2(z)2=z32π 1e2z2=f(z)

步骤 4:奇函数积分的性质

对于任意奇函数 ( f ( z ) f(z) f(z) ),在对称区间 ( [ − ∞ , ∞ ] [-\infty, \infty] [,] ) 上积分(假设积分收敛):

∫ − ∞ ∞ f ( z )   d z = ∫ − ∞ 0 f ( z )   d z + ∫ 0 ∞ f ( z )   d z \int_{-\infty}^{\infty} f(z) \, dz = \int_{-\infty}^{0} f(z) \, dz + \int_{0}^{\infty} f(z) \, dz f(z)dz=0f(z)dz+0f(z)dz

令 ( u = − z u = -z u=z ),则:

∫ − ∞ 0 f ( z )   d z = ∫ ∞ 0 f ( − u ) ( − d u ) = ∫ 0 ∞ − f ( u )   d u = − ∫ 0 ∞ f ( u )   d u \int_{-\infty}^{0} f(z) \, dz = \int_{\infty}^{0} f(-u) (-du) = \int_{0}^{\infty} -f(u) \, du = -\int_{0}^{\infty} f(u) \, du 0f(z)dz=0f(u)(du)=0f(u)du=0f(u)du

所以:

∫ − ∞ ∞ f ( z )   d z = − ∫ 0 ∞ f ( z )   d z + ∫ 0 ∞ f ( z )   d z = 0 \int_{-\infty}^{\infty} f(z) \, dz = -\int_{0}^{\infty} f(z) \, dz + \int_{0}^{\infty} f(z) \, dz = 0 f(z)dz=0f(z)dz+0f(z)dz=0

对于 ( f ( z ) = z 3 ⋅ 1 2 π e − z 2 2 f(z) = z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} f(z)=z32π 1e2z2 ),由于 ( e − z 2 2 e^{-\frac{z^2}{2}} e2z2 ) 衰减很快,积分收敛,奇函数性质保证:

∫ − ∞ ∞ z 3 ⋅ 1 2 π e − z 2 2   d z = 0 \int_{-\infty}^{\infty} z^3 \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \, dz = 0 z32π 1e2z2dz=0

因此:

E [ ( x − μ ) 3 ] = σ 3 ⋅ 0 = 0 E[(x - \mu)^3] = \sigma^3 \cdot 0 = 0 E[(xμ)3]=σ30=0

推广到所有奇数阶

对于任意奇数 ( k = 2 n + 1 k = 2n + 1 k=2n+1 )(( n = 0 , 1 , 2 , … n = 0, 1, 2, \dots n=0,1,2, )),( ( x − μ ) 2 n + 1 (x - \mu)^{2n+1} (xμ)2n+1 ) 是奇函数,乘以偶函数 ( 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} 2πσ2 1e2σ2(xμ)2 ) 后仍为奇函数,积分从 ( − ∞ -\infty ) 到 ( ∞ \infty ) 为零。所以,所有奇数阶中心矩都为零。


补充信息

1. 为什么偶数阶矩不为零?

偶数次方(如 ( ( x − μ ) 2 (x - \mu)^2 (xμ)2 ) 或 ( ( x − μ ) 4 (x - \mu)^4 (xμ)4 ))是偶函数,乘以偶函数后仍是偶函数,积分不会抵消。例如:

  • ( E [ ( x − μ ) 2 ] = σ 2 E[(x - \mu)^2] = \sigma^2 E[(xμ)2]=σ2 )(方差)
  • ( E [ ( x − μ ) 4 ] = 3 σ 4 E[(x - \mu)^4] = 3\sigma^4 E[(xμ)4]=3σ4 )(四阶矩)

这些值反映了分布的宽度和形状。

2. 偏度的含义

三阶中心矩 ( E [ ( x − μ ) 3 ] E[(x - \mu)^3] E[(xμ)3] ) 与偏度相关。偏度为零意味着分布没有左偏或右偏,正态分布的对称性恰好保证了这一点。如果分布不对称(例如指数分布),奇数阶矩就不为零。

3. 在统计中的应用

奇数阶矩为零在统计推断中很有用。例如,在计算Fisher信息矩阵时:

I 12 = E [ x − μ σ 2 ⋅ ( − 1 2 σ 2 + ( x − μ ) 2 2 ( σ 2 ) 2 ) ] I_{12} = E\left[ \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} + \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \right] I12=E[σ2xμ(2σ21+2(σ2)2(xμ)2)]

因为 ( E [ x − μ ] = 0 E[x - \mu] = 0 E[xμ]=0 ) 和 ( E [ ( x − μ ) 3 ] = 0 E[(x - \mu)^3] = 0 E[(xμ)3]=0 ),交叉项为零,说明 ( μ \mu μ ) 和 ( σ 2 \sigma^2 σ2 ) 信息正交。
具体参考参考笔者的另一篇博客:Fisher信息矩阵(Fisher Information Matrix,简称FIM)

4. 其他分布呢?

并非所有分布的奇数阶矩都为零。例如:

  • 指数分布 ( f ( x ) = λ e − λ x f(x) = \lambda e^{-\lambda x} f(x)=λeλx )(( x ≥ 0 x \geq 0 x0 )),( E [ ( x − μ ) 3 ] ≠ 0 E[(x - \mu)^3] \neq 0 E[(xμ)3]=0 ),因为它右偏。
  • 对称的均匀分布也有奇数阶矩为零,但范围有限。

正态分布的无限对称支持和指数衰减共同造就了这个特性。


总结

正态分布的奇数阶中心矩为零源于其完美的对称性。奇函数与偶函数相乘后,积分在对称区间上抵消,数学上严谨地证明了这一点。这个性质不仅让正态分布更加“优雅”,还在统计估计、信息理论中简化了计算,比如保证参数间的正交性。下次看到正态分布的钟形曲线,不妨想想它隐藏的这些奇妙特性!

后记

2025年2月24日22点07分于上海,在Grok3大模型辅助下完成。