机器学习：贝叶斯派和频率派

对概率的诠释有两大学派，一种是频率派另一种是贝叶斯派。后面我们对观测集采用下面记号：
$$X_{N\times P}=(x_1,x_2,x_3,\cdot \cdot \cdot ,x_N{)}^T,x_i=(x_{i1},x_{i2},x_{i3},\cdot \cdot \cdot ,x_{ip}{)}^T$$
这个记号表示有 $N$个样本，每个样本都是 $p$维向量。其中每个观测都是由$p(x|\theta )$ 生成的。

贝叶斯派

贝叶斯派认为$p(x|\theta )$中$\theta$不是一个常量。这个$\theta$满足一个预设的先验的分布 $\theta \sim p(\theta )$。于是根据贝叶斯定理依赖观测集参数的后验可以写成：
$$p(\theta |X)=\frac{p(X|\theta )\cdot p(\theta )}{p(x)}=\frac{p(X|\theta )\cdot p(\theta )}{\underset{\theta }{\int }p(X|\theta )\cdot p(\theta )d\theta }$$
这里的解释：

参数$\theta$ 视为随机变量，他有自己的先验分布$p(\theta )$。当我们要计算观测数据 $X$ 出现的 “绝对概率$ p(X)$ 时，需要考虑参数 $\theta$ 所有可能取值对 $p(X)$ 的贡献 。根据全概率公式，对于连续型随机变量$\theta$ ，观测数据$X$的边缘概率（也叫证据）$p(X)$ ，需要对在给定的$\theta$ 条件下$X$ 发生的概率$p(X|\theta )$ ，乘以$\theta$ 自身的先验概率密度$p(\theta )$，然后对$\theta$​所有的可能取值范围进行积分即：
$$\frac{p(X|\theta )\cdot p(\theta )}{\underset{\theta }{\int }p(X|\theta )\cdot p(\theta )d\theta }$$

为了求 $\theta$的值，我们要最大化这个参数后验MAP：
$${\theta }_{MAP}=\underset{\theta }{\mathrm{argmax}}p(\theta \mid X)=\underset{\theta }{\mathrm{argmax}}p(X\mid \theta )\cdot p(\theta )$$
其中第二个等号由于和$\theta$ 没有关系。求解这个$\theta$值后计算
$$\frac{p(X|\theta )\cdot p(\theta )}{\underset{\theta }{\int }p(X|\theta )\cdot p(\theta )d\theta }$$

，就得到了参数的后验概率。其中$p(X|\theta$ 叫似然，是我们的模型分布。得到了参数的后验分布后，我们可以将这个分布用于预测贝叶斯预测：
$$p(x_{new}|X)=\underset{\theta }{\int }p(x_{new}|\theta )\cdot p(\theta |X))d\theta$$
其中积分中的被乘数是模型，乘数是后验分布。

频率派

$p(x|\theta )$ 中的$\theta$是一个常量。对于$N$个观测集来说观测集的概率为$p(X\mid \theta )\stackrel{iid}{=}{\prod }_{i=1}^{N}p(x_i\mid \theta ）$。为了求$\theta$的大小，我们采用最大似然MLE的方法：
$${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}\log p(X\mid \theta )\stackrel{iid}{=}\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log p(x_i\mid \theta )$$

总结

频率派和贝叶斯派分别给出了一系列的机器学习算法。频率派的观点导出了一系列的统计机器学习算法而贝叶斯派导出了概率图理论。在应用频率派的 MLE 方法时最优化理论占有重要地位。而贝叶斯派的算法无论是后验概率的建模还是应用这个后验进行推断时积分占有重要地位。因此采样积分方法如 MCMC 有很多应用。

全概率公式与贝叶斯公式

全概率公式（Law of Total Probability）

**核心思想：**将复杂事件的概率分解为多个简单互斥事件的概率之和。

**适用条件：**事件组 $A_1,A_2,A_3\cdot \cdot \cdot A_n$ 需满足：

• 互斥性：任意两个事件不同时发生（$A_i\cap A_j=\varnothing$）

• 穷尽性：所有事件的并集构成样本空间（$A_1\cup A_2\cup A_3\cdot \cdot \cdot A_n=\Omega$）

公式：
$$P(B)=\sum _{i=1}^{n}P(B\mid A_i)P(A_i)$$

假设某工厂有3条生产线（$A_1,A_2,A_3$)，产量占比分别为50%、30%、20%，次品率分别为1%、2%、3%。求随机抽取一件产品是次品（事件B）的概率。

• $P(A_1)=0.5,P(B|A_1)=0.01$
• $P(A_2)=0.3,P(B|A_2)=0.02$
• $P(A_3)=0.5,P(B|A_3)=0.03$

$P(B)=0.5\times 0.01+0.3\times 0.02+0.5\times 0.03=0.017$

连续形式的全概率公式：
$$P(B)={\int }_{-\infty }^{+\infty }P(B\mid X=x)\cdot f_X(x)dx$$

贝叶斯公式

核心思想：基于已知结果（事件B发生），反向推断某个原因（事件$A_i$）的概率。
$$P(A_i\mid B)=\frac{P(B\mid A_i)\cdot P(A_i)}{P(B)}=\frac{P(B\mid A_i)\cdot P(A_i)}{{\sum }_{j=1}^{n}P(B\mid A_j)\cdot P(A_j)}(离散)=\frac{P(B\mid A_i)\cdot P(A_i)}{{\int }_{-\infty }^{+\infty }P(B\mid X=x)\cdot f_X(x)dx}(连续)$$
**例子：**接上例接上例，若抽到一件次品，求它来自第2条生产线（$A_2$）的概率。

计算：
$$P(A_2|B)=\frac{0.3\times 0.02}{0.017}\approx 0.3529(\text{即}35.29)$$