概率论中的基本定义(事件,期望,信息量,香农熵等)

对于深度学习来说,概率论非常重要,时不时回顾一下的基本定义,理清思路,故做以下笔记,如有不对请指正:

随机试验

随机试验用于描述在相同条件下重复进行、结果具有不确定性的实验或观察过程。

例如:抛硬币,掷骰子,药物疗效试验,测量灯泡寿命均是一个随机试验,

随机试验需要满足以下特征

• 可重复性:即试验可以在相同的条件下重复执行;
  • 例:抛一枚硬币多次，每次的环境条件（如力度、高度）尽可能一致。
  • 反例:新药的人体试验,每个人的身体条件不一致
• 结果明确性:试验的所有可能结果事先明确可知，且结果不止一个;
  • 例:抛硬币的结果只能是“正面”或“反面”。
  • 反例:对画作进行1-10分的评分,结果的不确定性源于主观性，而非随机性。故不可称为随机试验;
• 不确定性:单次试验的结果不可预知,但结果一定是所有可能结果中的一个。
  • 例:抛硬币前无法知道是正面还是反面。
  • 反例:太阳升起的方向,一定是东方,故不存在不确定性

随机试验:指的是一个试验本身,不是某个结果,而是描述的一个过程;

样本空间

随机试验的所有可能结果称之为样本空间,记为$\Omega$

例:投掷一个公平硬币,所有可能结果为 { 正面 , 反面 } \{正面,反面\} {正面,反面},即称样本空间,记为: Ω = { 正面 , 反面 } \Omega=\{正面,反面\} Ω={正面,反面};

例:灯泡的寿命,所有的可能结果为正实数,即$\Omega =[0,+\infty )$;

随机变量

随机变量是将随机试验的可能结果,映射到实数的函数,注意本质上是映射函数;
实际就是将一个文字描述变成一个数值的描述;

例:投掷一个公平硬币,所有可能结果为 { 正面 , 反面 } \{正面,反面\} {正面,反面},即: Ω = { 正面 , 反面 } \Omega=\{正面,反面\} Ω={正面,反面};定义一个随机变量$X$(函数),如果使用分段函数的定义方式类似于:
$$X(\omega )=\{\begin{array}{ll}1,& \omega =正面\\ 0,& \omega =反面\end{array}$$
则一般使用 $X=1$表示正面,故有:
$$P(正面)=P(X=1)=0.5$$

事件

样本空间的子集，表示某些结果的组合。

例1:投掷一个公平硬币, Ω = { H , T } \Omega=\{H,T\} Ω={H,T}

• 事件A:“出现正面”。记为: A = { H } A=\{H\} A={H} 。
• 事件B:至少出现一次正面（若试验为连续抛多次）;记为: B = { 所有包含 H 的序列 } B=\{所有包含H的序列\} B={所有包含H的序列}

例2:从一批灯泡中随机抽取一只，测试其寿命。

• 事件 A：寿命大于 1000 小时,记为 A = { t ∣ t > 1000 } A=\{t∣t>1000\} A={t∣t>1000}

• 可使用随机变量来描述事件

例1:投掷一个公平硬币,出现正面可以写为$X=1$,出现反面可以写为:$X=0$;(随机变量X定义为1表示正面,0表示反面)
例2:从一批灯泡中随机抽取一只，测试其寿命,大于1000小时,写为: $X>1000$;(随机变量X定义为寿命小时数)
例3:抛出一个6面均匀骰子,点数大于2的事件,可写为:$X>2$; 点数等于2,4,6的事件: X ∈ { 2 , 4 , 6 } X\in\{2,4,6\} X∈{2,4,6}

可见,随机变量的主要作用是将自然语言描述的事件,转变为数学语言的描述的工具;

• 对于单个试验,事件可以有无数种定义;例如投掷一个公平6面骰子,可以定义事件A-F是得到1-6点,显然定义随机变量如下最合适
  $$X(\omega )=\{\begin{array}{ll}1,& \omega =1点\\ 2,& \omega =2点\\ \cdots & \\ 6,& \omega =6点\end{array}$$
• 注意随机变量是用来表达所有可能结果为数学语言的工具,而不是表达所定义的所有事件的;
  例如上例还可以继续定义事件G是大于4点,事件H是小于5点;那么这两个事件不是用来定义随机变量,而是使用随机变量来描述事件;
• 定义随机变量时,实际是需要找到所有互斥的事件,并且所有的互斥事件的并集为样本空间;需要满足总概率为1的基本性质
• 对于上例如果我只关注小于4点和大于3点两种事件;我也可以定义随机变量为:
  $$X(\omega )=\{\begin{array}{ll}1,& \omega =1,2,3点\\ 2,& \omega =4,5,6点\end{array}$$
  此时的概率$P(X=1)=0.5;P(X=2)=0.5$
• 注意定义时不可遗漏所有可能的结果

注意,随机变量是描述事件的工具,不是使用事件定义随机变量,随机变量只和样本空间有关

样本空间与事件的定义关系

1. 样本空间的唯一性

• 定义：样本空间（Sample Space）是随机试验所有可能结果的集合，由试验本身的性质决定。
• 示例：
  • 抛硬币： Ω = { 正面 , 反面 } \Omega = \{\text{正面}, \text{反面}\} Ω={正面,反面}
  • 掷骰子： Ω = { 1 , 2 , 3 , 4 , 5 , 6 } \Omega = \{1,2,3,4,5,6\} Ω={1,2,3,4,5,6}
  • 观察温度： Ω = { x ∈ R ∣ x > − 273.15 } \Omega = \{x \in \mathbb{R} \mid x > -273.15\} Ω={x∈R∣x>−273.15}
• 关键点：样本空间是试验结果的客观存在，不会因研究目的改变。

2. 事件的多样性与人为定义

• 定义：事件（Event）是样本空间的子集，表示我们感兴趣的某些结果。
• 特点：
  • 灵活性：事件可以根据研究需求灵活定义。
  • 数量：理论上可定义 $2^{|\Omega |}$ 个事件（若样本空间有限）。
• 示例：掷骰子时，样本空间 Ω = { 1 , 2 , 3 , 4 , 5 , 6 } \Omega = \{1,2,3,4,5,6\} Ω={1,2,3,4,5,6}，可定义以下事件：
  • 事件A：偶数点（ { 2 , 4 , 6 } \{2,4,6\} {2,4,6}）
  • 事件B：大于3的点（ { 4 , 5 , 6 } \{4,5,6\} {4,5,6}）
  • 事件C：1点或6点（ { 1 , 6 } \{1,6\} {1,6}）
  • 事件D：质数点（ { 2 , 3 , 5 } \{2,3,5\} {2,3,5}）

3. 样本空间与事件的关系

• 样本空间是事件的“舞台”：
  • 所有事件必须基于样本空间定义，不能超出其范围。
  • 例如：掷骰子时无法定义“掷出7点”这样的事件。
• 事件的互斥与互补：
  • 互斥事件：无交集（如 { 1 , 2 } \{1,2\} {1,2} 和 { 3 , 4 } \{3,4\} {3,4}）。
  • 对立事件：互斥且并集为样本空间（如 { 1 , 2 , 3 } \{1,2,3\} {1,2,3} 和 { 4 , 5 , 6 } \{4,5,6\} {4,5,6}）。

4. 总结

• 样本空间是唯一的：由试验本身决定，包含所有可能结果。
• 事件是灵活的：可根据研究需求定义任意数量的事件，但必须基于样本空间。
• 研究目的驱动事件定义：不同的问题需要关注不同的结果组合。

概率

概率（probability）,用$P$表示,是度量事件发生可能性大小的数值

概率的计算方式

• 古典概率
  适用于有限且等可能的基本事件的场景，通过理论计算直接得出概率。概率使用$P(A)$表示;

• 频率概率
  通过大量随机试验,可以得到逼近真实概率的结果,且试验次数越多,越接近真实概率;

  • 在$n$次试验中,$A$事件发生的频数记为$n_A$
  • $A$事件出现;的频率为:$n_A/n$,记为:$f_n(A)$
  • 对于对于独立重复试验,在一定条件下的A事件的频率等于概率:$$\underset{n\to \infty }{\lim }{f}_n(A)=P(A)$$

概率公理:

1. 非负性:对于每个事件:$P(A)\ge 0$
2. 规范性:对于必然事件:$P(S)=1$
3. 可列可加性:对于两两不相容的事件(互斥事件,即不可能同时发生),对于$A_1,A_2,\dots ,且A_i{A}_j=\varnothing ,i\ne j,i=1,2,3,\dots$有$P(A_1\cup A_2\cup \cdots )=P(A_1)+P(A_2)+\cdots$

可列可加性数学表达也可以写作:(看看得了,一个意思表达):
$$P(\bigcup _{i=1}^{\infty }{A}_i)=\sum _{i=1}^{\infty }P(A_i)$$

实际就是概率必须在0-1之间,然后不相容的事件概率之和等于出现之中任意一个事件的概率发生的概率;

期望

期望是随机变量所有可能结果的加权平均，权重为对应概率。

注意,是随机变量的所有可能结果,不是所有事件的可能结果,换句话说,期望是和事件无关的;

• 若随机变量 $X$ 的可能取值为 $x_1,x_2,\dots ,x_n$​，对应概率为 $p(x_1),p(x_2),\dots ,p(x_n)$则期望为:
  $$E(X)=\sum _{i=1}^n{x}_{i}P(x_i)$$

方差

反应随机变量的波动情况

分布

• 分布是对所有可能事件及其对应概率的系统性描述;分布描述随机变量取值的概率规律，反映事件发生的概率如何分配到不同结果上。
• 对于离散事件,分布就是每一个概率之和,对于连续事件就是概率的积分;

信息量

1. 概率越大的事件,信息量越小
2. 概率越小的事件,信息量越大
3. 独立事件的信息量可以相加

即:量化一个事件发生时所携带的信息多少

示例:

• 我今天没有出车祸,概率很大,明显是一句废话,含的信息量很小
• 我今天出车祸了,概率很小,听到消息的亲戚朋友很震惊,含的信息量就很大

故信息量$I(x)$与概率$p(x)$应成反比;即$I(x)\propto \frac{1}{p(x)}$

• 我今天出车祸了,公司也倒闭了,是互相独立的事件;和老婆说了,老婆很震惊,两件事件的信息量应是可以相加的; 如我今天出车祸了(撞死的是老板),导致公司倒闭了,那么2件事情就不是独立事件,信息量就不能相加,且显然可知信息量更大了!

事件 $A$ 和 $B$ 位 独立事件时,同时发生的概率为:$P(A\cap B)=P(A)\times P(B)$

要使:
$$\begin{array}{c}I(x)\propto \frac{1}{p(x)}\\ I(A)+I(B)\propto \frac{1}{p(A\cup B)}=\frac{1}{p(A)\times p(B)}\\ 则令:I(x)={\log }_n\frac{1}{p(x)}即可\\ \begin{array}{rl}I(A)+I(B)=& {\log }_n\frac{1}{p(A)}+{\log }_n\frac{1}{p(B)}\\ & ={\log }_n\frac{1}{p(A)p(B)}\\ & =-lo{g}_n(p(A)p(B))\end{array}\end{array}$$
故信息量定义为:
$$I(x)={\log }_n\frac{1}{p(x)}$$

• 底数为$2$：单位为比特（bit），适用于二进制系统（如计算机通信）。
• 底数为$e$：单位为奈特（nat），常用于数学和物理学。
• 底数为$10$：单位为哈特莱（Hartley），适用于十进制场景。

示例:抛出不均匀硬币正面朝上的概率是0.8,则连续两次均为正面的概率是0.64,信息量如下:
$$\begin{array}{c}I(x_1)={\log }_2\frac{1}{0.8}\approx 0.3219\\ I(x_1)+I(x_2)={\log }_2\frac{1}{0.8}\times 2={\log }_2\frac{1}{0.64}\approx 0.6438\end{array}$$

香农熵

• 香农熵量化信息的不确定性或混乱程度;越混乱值就越大,反之越小;
• 示例1:存在以下两个硬币,抛出,比较香农熵$H(X)$:
  1. 均匀硬币
  2. 非均匀硬币$P(正)=0.8,P(负)=0.2$

首先直观的感受,谁更混乱一点,谁更稳定;

例如你是一个赌徒,猜中就可以获得1元;上述2个硬币,你当然愿意选择硬币2,因为只需要每次猜正面就好了,有8成可能性猜中;故认为2硬币更稳定,极端一点,有一个99.999%都是正面的硬币,应该非常稳定,而均匀硬币则是最混乱的;

即$H(X_1)>H(X_2)$

• 示例2:存在以下4个六面骰子,抛出,比较香农熵$H(X)$
  1. 均匀骰子
  2. $P(1)=\frac{1}{2};P(2-6)=\frac{1}{10}$
  3. $P(1)=\frac{1}{3};P(2-6)=\frac{2}{15}$
  4. $P(1)=\frac{1}{3};P(2-3)=\frac{1}{6};P(4-6)=\frac{1}{9};$

依据以上描述,显然可见: $H(X_1)>H(X_3)>H(X_4)>H(X_2)$

• 可能对3和4有一些疑问,最好的方案就是用一个公式来求得香农熵;显然可见,与每个事件的概率都有关,但不能直接相加,因为相加等于1;
• 概率越高的事件，其信息量对整体熵的贡献越大；概率越低的事件，虽然单次信息量大，但发生的频率低，对整体熵的贡献较小。我们只需要把每个概率所对应的信息量和概率相乘,再求和,即得到平均信息量;对于事件i来说,他的对于总体信息量的贡献就是$P(x_i)\cdot I(x_i)$,
• 故对于一个离散随机变量 $X$
  $$H(X)=\sum _{i=1}^{n}p(x_i)\cdot I(x_i)=-\sum _{i=1}^{n}p(x_i)\cdot {\log }_{b}p(x_i)$$

其中:

• $p(x_i)$：事件 $x_i$发生的概率。
• $n$：所有可能事件的总数。
• $b$：对数的底数，通常取2（单位为比特，bit）、自然对数（单位为奈特，nat）或10（单位为哈特莱，Hartley）。

关键特性：

• 非负性：熵值 $H(X)\ge 0$。

• 最大值：当所有事件概率相等时，熵达到最大值 $\log {}_{b}n$。

• 可加性：若两个随机变量独立，则联合熵等于各自熵的和。
  香农熵是“平均信息量”

• 计算示例2:
  $$\begin{array}{rl}H(X_1)& ={\log }_{2}n={\log }_{2}6\\ & \approx 2.58(bit)\\ H(X_2)& =-\sum _{i=1}^{n}p(x_i)\cdot {\log }_{b}p(x_i)\\ & =p(x_1)\cdot I(x_1)+5\times p(x_2)\cdot I(x_2)\\ & =-\frac{1}{2}\times {\log }_2\frac{1}{2}+-5\times (\frac{1}{10}\times {\log }_2\frac{1}{10})\\ & \approx 0.832(bit)\\ H(X_3)& =p(x_1)\cdot I(x_1)+5\times p(x_2)\cdot I(x_2)\\ & =-\frac{1}{3}\times {\log }_2\frac{1}{3}+-5\times (\frac{2}{15}\times {\log }_2\frac{2}{15})\\ & \approx 2.4662(bit)\\ H(X_4)& =p(x_1)\cdot I(x_1)+3\times p(x_2)\cdot I(x_2)+2\times p(x_4)\cdot I(x_4)\\ & =-\frac{1}{3}\times {\log }_2\frac{1}{3}-3\times (\frac{1}{6}\times {\log }_2\frac{1}{6})-2\times (\frac{1}{9}\times {\log }_2\frac{1}{9})\\ & \approx 2.0944(bit)\end{array}$$

• 换句话说,香农熵其实衡量了分布的集中程度,均匀分布熵最大,越集中分布,熵越小;

• 对于连续随机变量
  $$H(X)=-{\int }_{-\infty }^{\infty }p(x)\log p(x)dx\mathcal{E}$$

排列与组合

排列

• 从 n 个不同元素中取出 m 个元素，按照一定顺序排成一列,出现的可能性个数为排列数。顺序不同即为不同的排列。(英文:Permutation也写作Arrangement)
• 常见记为以下几种写法,都可以:
  $$A(n,m)=P(n,m)=A_n^m=P_n^m$$
• 计算公式为:
  $$A_n^m=\frac{n!}{(n-m)!}$$

组合

• 从 n 个不同元素中取出 m 个元素，不考虑顺序地组合在一起。
• 记为
  $$C(n,m)=C_n^m$$
• 计算公式为,即为排除了重复可能的排列数
  $$C_n^m=\frac{A_n^m}{A_m^m}=\frac{n!}{m!(n-m)!}$$