【推导过程】常用连续分布的数学期望、方差、特征函数

基础数学&计算数学，从事优化领域7年+，主要研究方向：MIP求解器、整数规划、随机规划、智能优化算法

常用连续分布（正态分布、均匀分布、指数分布、伽马分布、贝塔分布）的数学期望、方差、特征函数具体推导。

如有错误，欢迎指正。如有更好的算法，也欢迎交流！！！——@小猪快跑

相关教程

• 常用分布的数学期望、方差、特征函数
• 【推导过程】常用离散分布的数学期望、方差、特征函数
• 【推导过程】常用连续分布的数学期望、方差、特征函数

相关文献

• [1]茆诗松,周纪芗.概率论与数理统计 (第二版)[M].中国统计出版社,2000.

常用连续分布的数学期望&方差&特征函数

正态分布

若随机变量$X$的密度函数为
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$$
则称$X$服从正态分布，称$X$为正态变量，记作$X\sim N(\mu ,{\sigma }^2)$。其中参数$-\infty <\mu <+\infty ,\sigma >0$。

正态分布$N(\mu ,{\sigma }^2)$的分布函数为
$$F(x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{\mathrm{e}}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}t$$
如果固定 $\sigma$，改变$\mu$的值，则图形沿$x$轴平移，而不改变其形状。也就是说正态密度函数的位置由参数$\mu$所确定，因此亦称$\mu$为位置参数。

如果固定$\mu$，改变$\sigma$的值，则$\sigma$愈小，曲线呈高而瘦；$\sigma$愈大，曲线呈矮而胖.也就是说正态密度函数的尺度由参数$\sigma$所确定，因此称$\sigma$为尺度参数。

标准正态分布

称$\mu =0,\sigma =1$时的正态分布$N(0,1)$为标准正态分布。

通常记标准正态变量为$U$，记标准正态分布的密度函数为$\phi (u)$，分布函数为$\Phi (u)$，即
$$\begin{array}{c}\phi (u)=\frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-\frac{u^2}{2}},-\infty <u<+\infty \\ \Phi (u)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^u{\mathrm{e}}^{-\frac{t^2}{2}}\mathrm{d}t,-\infty <u<+\infty \end{array}$$
由于标准正态分布的分布函数不含任何未知参数，故其值$\Phi (u)=P(U\le u)$完全可以算出。

• $\Phi (-u)=1-\Phi (u)$
• $P(U>u)=1-\Phi (u)$
• $P(a<U<b)=\Phi (b)-\Phi (a)$
• $P(|U|<c)=2\Phi (c)-1$

一般正态分布的标准化

正态分布有一个家族
P = { N ( μ , σ 2 ) : − ∞ < μ < + ∞ , σ > 0 } \mathscr P = \{ N(\mu,\sigma^2):-\infty<\mu<+\infty,\sigma>0 \} P={N(μ,σ2):−∞<μ<+∞,σ>0}
标准正态分布$N(0,1)$是其一个成员。实际上很少有随机变量恰好服从标准正态分布。以下定理说明：对一般正态分布都可以通过一个线性变换（标准化）化成标准正态分布。因此与正态变量有关的一切事件的概率都可通过查标准正态分布函数表获得。由此可见标准正态分布$N(0,1)$对一般正态分布$N(\mu ,{\sigma }^2)$的计算起着关键的作用。

若 $X\sim N(\mu ,{\sigma }^2)$，则 $U=\frac{X-\mu }{\sigma }\sim N(0,1)$

证明：记$X$与$U$的分布函数分别为 $F_X(x)$ 与 $F_U(u)$，则由分布函数的定义知
$$\begin{array}{rl}{F}_U(u)& =P(U\le u)=P\left(\frac{X-\mu }{\sigma }\le u\right)\\ & =P(X\le \mu +\sigma u)=F_X(\mu +\sigma u).\end{array}$$
由于正态分布函数是严格单调增函数，且处处可导，因此若记$X$与$U$的密度函数分别为$p_X(x)$与$P_U(u)$，则有
$$P_U(u)=\frac{\mathrm{d}}{\mathrm{d}u}{F}_X(\mu +\sigma u)=p_X(\mu +\sigma u)\cdot \sigma =\frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-u^2/2},$$
由此得
$$U=\frac{X-\mu }{\sigma }\sim N(0,1)$$
由以上定理，我们马上可以得到一些在实际中有用的计算公式，若$N(\mu ,{\sigma }^2)$，则
KaTeX parse error: Undefined control sequence: \label at position 78: …igma \right) . \̲l̲a̲b̲e̲l̲{eq2.5.3}\\ …

数学期望

设随机变量$X\sim N(\mu ,{\sigma }^2)$，由于$U=(X-\mu )/\sigma \sim N(0,1)$，所以$U$的数学期望为
$$E(U)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }u{\mathrm{e}}^{-\frac{u^2}{2}}\mathrm{d}u$$
注意到上述积分的被积函数为一个奇函数，所以其积分值等于0，即$E(U)=0$。又因为$X=\mu +\sigma U$，所以由数学期望的线性性得
$$E(X)=\mu +\sigma \times 0=\mu$$
也就是说，正态分布$N(\mu ,{\sigma }^2)$中$\mu$为数学期望。

方差

$$\begin{array}{rl}Var(U)& =E(U^2)\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{u}^2{\mathrm{e}}^{-\frac{u^2}{2}}\mathrm{d}u\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }u\mathrm{d}(-{\mathrm{e}}^{-\frac{u^2}{2}})\\ & =\frac{1}{\sqrt{2\pi }}{\left(\begin{array}{c}-u{\mathrm{e}}^{-\frac{u^2}{2}}\end{array}\right|}_{-\infty }^{\infty }+{\int }_{-\infty }^{\infty }{\mathrm{e}}^{-\frac{u^2}{2}}\mathrm{d}u)\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{\mathrm{e}}^{-\frac{u^2}{2}}\mathrm{d}u\\ & =\frac{1}{\sqrt{2\pi }}\sqrt{2\pi }\\ & =1\end{array}$$

因为$X=\sigma U+\mu$，所以由方差的性质得
$$\mathrm{Var}(X)=\mathrm{Var}(\sigma U+\mu )={\sigma }^2$$
这说明，正态分布$N(\mu ,{\sigma }^2)$中另一个参数${\sigma }^2$就是方差。

在求正态分布的数学期望和方差中，用到了一种变换：令$U=(X-\mu )/\sigma$，由$E(U)=0,\mathrm{Var}(U)=1$，然后再去求出$X$的数学期望和方差.这个变换具有普遍意义，也就是对任意随机变量$X$，如果$X$的数学期望为$\mu$，方差为${\sigma }^2$，则称

$$X^{\ast }=\frac{X-\mu }{\sigma }$$
为$X$的标准化随机变量，且可得
$$E(X^{\ast })=0,\mathrm{Var}(X^{\ast })=1$$

$3\sigma$原则

设$X\sim N(\mu ,{\sigma }^2)$，则

$$P(|X-\mu |<k\sigma )=\Phi (k)-\Phi (-k)=\{\begin{array}{ll}0.6826,& k=1\\ 0.9545,& k=2\\ 0.9973,& k=3\end{array}$$
从上式中可以看出：尽管正态变量的取值范围是 $(-\infty ,+\infty )$，但它的 $99.73\%$ 的值落在 $\mu -3\sigma ,\mu +3\sigma$ 内. 这个性质被实际工作者称作是正态分布的“$3\sigma$原则”。正态分布的 $3\sigma$ 原则在实际工作中很有用，工业生产上用的控制图，和一些产品质量指数（如 $C_p,C_{pk}$）都是根据 $3\sigma$ 原则制定的。

均匀分布

若随机变量X的密度函数为
$$p(x)=\{\begin{array}{ll}\frac{1}{b-a},& a<x<b\\ 0,& \text{其他}\end{array}$$
则称$X$服从区间$(a,b)$上的均匀分布，记作$X\sim U(a,b)$，其分布函数为

$$F(x)=\{\begin{array}{ll}0,& x<a;\\ \frac{x-a}{b-a},& a\le x<b;\\ 1,& x\ge b.\end{array}$$

数学期望

设随机变量$X\sim U(a,b)$，则
$$E(X)={\int }_a^b\frac{x}{b-a}\mathrm{d}x=\frac{b^2-a^2}{2(b-a)}=\frac{a+b}{2}$$
这正是区间$(a,b)$的终点。

方差

$$E(X^2)={\int }_a^b\frac{x^2}{b-a}\mathrm{d}x=\frac{b^3-a^3}{3(b-a)}=\frac{a^2+ab+b^2}{3}$$

由此得$X$的方差为
$$\mathrm{Var}(X)=E(X^2)-[E(X){]}^2=\frac{a^2+ab+b^2}{3}-\frac{(a+b{)}^2}{4}=\frac{(b-a{)}^2}{12}$$

指数分布

若随机变量X的密度函数为
$$p(x)=\{\begin{array}{ll}\lambda {\mathrm{e}}^{-\lambda x},& x⩾0;\\ 0,& x<0,\end{array}$$
则称$X$服从指数分布，记作$X\sim Exp(\lambda )$，其中参数。指数分布的分布函数为
$$F(x)=\{\begin{array}{ll}1-{\mathrm{e}}^{-\lambda x},& x⩾0;\\ 0,& x<0.\end{array}$$

无记忆性

如果$X\sim Exp(\lambda )$，则对任意$s>0,t>0$，有
$$P(X>s+t|X>s)=P(X>t)$$
证明：因为$X\sim Exp(\lambda )$，所以$P(X>s)={\mathrm{e}}^{-\lambda s},s>0$。又因为
{ X > s + t } ⊆ { X > s } \{X>s+t\} \subseteq \{ X>s \} {X>s+t}⊆{X>s}
于是条件概率
$$P(X>s+t|X>s)=\frac{P(X>s+t)}{P(X>s)}=\frac{{\mathrm{e}}^{-\lambda (s+t)}}{{\mathrm{e}}^{-\lambda s}}={\mathrm{e}}^{-\lambda t}=P(X>t)$$

数学期望

设随机变量$X\sim Exp(\lambda )$，则
$$\begin{array}{rl}E(X)& ={\int }_0^{+\infty }x\lambda {\mathrm{e}}^{-\lambda x}\mathrm{d}x={\int }_0^{+\infty }x\mathrm{d}(-{\mathrm{e}}^{-\lambda x})\\ & =-x{\mathrm{e}}^{-\lambda x}{|}_0^{+\infty }+{\int }_0^{+\infty }{\mathrm{e}}^{-\lambda x}\mathrm{d}x=-\frac{1}{\lambda }{\mathrm{e}}^{-\lambda x}{|}_0^{+\infty }=\frac{1}{\lambda }.\end{array}$$
在指数分布中，有时记 $\theta =1/\lambda$，则 $\theta$ 为指数分布的数学期望

方差

$$\begin{array}{rl}E(X^2)& ={\int }_0^{+\infty }{x}^2\lambda {\mathrm{e}}^{-\lambda x}\mathrm{d}x={\int }_0^{+\infty }{x}^2\mathrm{d}(-{\mathrm{e}}^{-\lambda x})\\ & =-x^2{\mathrm{e}}^{-\lambda }{|}_0^{+\infty }+2{\int }_0^{+\infty }x{\mathrm{e}}^{-\lambda x}\mathrm{d}x=\frac{2}{{\lambda }^2},\end{array}$$

由此得$X$的方差为

$$\mathrm{Var}(X)=E(X^2)-[E(X){]}^2=\frac{2}{{\lambda }^2}-\frac{1}{{\lambda }^2}=\frac{1}{{\lambda }^2}$$

伽马分布

称以下函数
$$\Gamma (\alpha )={\int }_0^{+\infty }{x}^{\alpha -1}{\mathrm{ee}}^{-x}\mathrm{d}x$$
为伽玛函数，其中参数。伽玛函数具有如下性质：

• $\Gamma (1)=1,\Gamma \left(\frac{1}{2}\right)=\sqrt{\pi }$

• $\Gamma (\alpha +1)=\alpha \Gamma (\alpha )$（可用分部积分法证得）。当$\alpha$为自然数$n$时，有
  $$\Gamma (n+1)=n\Gamma (n)=n!$$

若随机变量$X$的密度函数为
$$p(x)=\{\begin{array}{ll}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{\mathrm{ee}}^{-\lambda x},& x\ge 0;\\ 0,& x<0,\end{array}$$
则称$X$服从伽玛分布，记作$X\sim Ga(\alpha ,\lambda )$，其中$\alpha >0$为形状参数，$\lambda >0$为尺度参数。

两个特例

• $\alpha =1$时的伽玛分布就是指数分布，即
  $$Ga(1,\lambda )=Exp(\lambda )$$

• 称$\alpha =n/2,\lambda =1/2$时的伽玛分布是自由度为$n$的 ${\chi }^2$（卡方）分布，记为${\chi }^2(n)$，记
  $$Ga\left(\frac{n}{2},\frac{1}{2}\right)={\chi }^2(n)$$
  其密度函数为
  $$p(x)=\{\begin{array}{ll}\frac{1}{2^{\frac{n}{2}}\Gamma \left(\frac{n}{2}\right)}{\mathrm{ee}}^{-\frac{x}{2}}{x}^{\frac{n}{2}-1},& x>0;\\ 0,& x\le 0.\end{array}$$
  这里$n$是${\chi }^2$分布的唯一参数，称为自由度，它可以是正实数，但更多的是取正整数。

  因为${\chi }^2$分布是特殊的伽玛分布，故由伽玛分布的期望和方差，很容易得到${\chi }^2$分布的期望和方差为
  $$E(X)=n,\mathrm{Var}(X)=2n$$

数学期望

利用伽玛函数的性质，不难算得伽玛分布$Ga(\alpha ,\lambda )$的数学期望为
$$E(X)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\int }_0^{+\infty }{x}^{\alpha }{\mathrm{ee}}^{-\lambda x}\mathrm{d}x=\frac{\Gamma (\alpha +1)}{\Gamma (\alpha )}\frac{1}{\lambda }=\frac{\alpha }{\lambda }$$

方差

$$E(X^2)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\int }_0^{+\infty }{x}^{\alpha +1}{\mathrm{ee}}^{-\lambda x}\mathrm{d}x=\frac{\Gamma (\alpha +2)}{{\lambda }^2\Gamma (\alpha )}=\frac{\alpha (\alpha +1)}{{\lambda }^2}$$

由此得$X$的方差为

$$\mathrm{Var}(X)=E(X^2)-[E(X){]}^2=\frac{\alpha (\alpha +1)}{{\lambda }^2}-{\left(\frac{\alpha }{\lambda }\right)}^2=\frac{\alpha }{{\lambda }^2}$$

贝塔分布

称以下函数
$$\mathrm{B}(a,b)={\int }_0^1{x}^{a-1}(1-x{)}^{b-1}\mathrm{d}x$$
为贝塔函数，其中参数$a>0,b>0$。贝塔函数具有如下性质：

• $\mathrm{B}(a,b)=\mathrm{B}(b,a)$

  令$y=1-x$，即得
  $$\mathrm{B}(a,b)={\int }_1^0(1-y{)}^{a-1}{y}^{b-1}(-\mathrm{d}y)={\int }_0^1(1-y{)}^{a-1}{y}^{b-1}\mathrm{d}y=\mathrm{B}(b,a)$$

• 贝塔函数与伽玛函数间有关系
  $$\mathrm{B}(a,b)=\frac{\Gamma (a)\Gamma (b)}{\Gamma (a+b)}$$
  由伽玛函数的定义知
  $$\Gamma (a)\Gamma (b)={\int }_0^{+\infty }{\int }_0^{+\infty }{x}^{a-1}{y}^{b-1}{\mathrm{ee}}^{-(x+y)}\mathrm{d}x\mathrm{d}y$$
  作变量变换$x=uv,y=u(1-v)$，其雅可比行列式$J=-u$，故
  $$\begin{array}{rl}\Gamma (a)\Gamma (b)& ={\int }_0^{+\infty }{\int }_0^1(uv{)}^{a-1}[u(1-v){]}^{b-1}{\mathrm{ee}}^{-u}u\mathrm{d}u\mathrm{d}v\\ & ={\int }_0^{+\infty }{u}^{a+b-1}{\mathrm{ee}}^{-u}{\int }_0^1{v}^{a-1}(1-v{)}^{b-1}\mathrm{d}v=\Gamma (a+b)\mathrm{B}(a,b),\end{array}$$
  由此证得。

若随机变量$X$的密度函数为
$$p(x)=\{\begin{array}{ll}\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{x}^{a-1}(1-x{)}^{b-1},& 0<x<1;\\ 0,& \text{其他},\end{array}$$
则称$X$服从贝塔分布，记作$X\sim Be(a,b)$，其中 $a>0,b>0$ 都是形状参数。

因为服从贝塔分布$Be(a,b)$的随机变量是仅在区间$(0,1)$取值的，所以不合格品率、机器的维修率、市场的占有率、射击的命中率等各种比率选用贝塔分布作为它们的概率分布是恰当的，只要选择合适的参数$a$与$b$即可。

数学期望

利用贝塔函数的性质，不难算得贝塔分布$Be(a,b)$的数学期望为
$$\begin{array}{rl}E(X)& =\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\int }_0^1{x}^a(1-x{)}^{b-1}\mathrm{d}x\\ & =\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}\cdot \frac{\Gamma (a+1)\Gamma (b)}{\Gamma (a+b+1)}=\frac{a}{a+b}.\end{array}$$

方差

$$\begin{array}{rl}E(X^2)& =\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\int }_0^1{x}^{a+1}(1-x{)}^{b-1}\mathrm{d}x\\ & =\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}\cdot \frac{\Gamma (a+2)\Gamma (b)}{\Gamma (a+b+2)}\\ & =\frac{a(a+1)}{(a+b)(a+b+1)}.\end{array}$$

由此得$X$的方差为
$$\mathrm{Var}(X)=\frac{a(a+1)}{(a+b)(a+b+1)}-{\left(\frac{a}{a+b}\right)}^2=\frac{ab}{(a+b{)}^2(a+b+1)}$$