李宏毅2020机器学习笔记补充(2)-EW帮帮网

概率论-贝叶斯定理参考：通俗地理解贝叶斯公式（定理）

在统计学中有两个较大的分支：一个是“频率”，另一个便是“贝叶斯”，“贝叶斯”主要利用了“相关性”一词。通俗易懂的方式描述“贝叶斯定理”：通常，事件 A 在事件 B 发生的条件下与事件 B 在事件 A 发生的条件下，它们两者的概率并不相同，但是它们两者之间存在一定的相关性，并具有以下公式（称之为“贝叶斯公式”）：

$P\left ( B|A \right ) = \frac{P\left ( A|B \right )P\left ( B \right )}{P\left ( A \right )}$

P(A) 表示 A 出现的概率。
P(A|B) 是条件概率的符号，表示事件 A 发生的条件下，事件 B 发生的概率，条件概率是“贝叶斯公式”的关键所在，它也被称为“似然度”。
P(B|A) 是条件概率的符号，表示事件 B 发生的条件下，事件 A 发生的概率，这个计算结果也被称为“后验概率”。

两个本来相互独立的事件，发生了某种“相关性”，此时就可以通过“贝叶斯公式”实现预测。如果P(B|A)的值越大，说明一旦发生了 A，B 就越可能发生。两者可能存在较高的相关性。

先验概率：是指根据以往经验和分析得到的概率，已知

后验概率：是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正而后得到的概率

朴素贝叶斯算法：假定给定目标值时属性之间相互条件独立

在给定类别为y的情况下：

$P\left ( X|Y=y \right ) = \prod_{i=1}^{d} P\left ( x_i|Y=y \right )$

属于类别 $y_i$ 的朴素贝叶斯计算可以表示为

$P\left ( y_i|x_1,x_2,\cdot \cdot \cdot ,x_d \right ) =\frac{P\left ( y_i \right )\prod_{j=1}^{d} P\left ( x_j|y_i \right ) }{\prod_{j=1}^{d} P\left ( x_j \right )}$