本专题为《Pattern Recognition and Machine Learning》(作者：Bishop)系列学习笔记，对于书中的内容不会全部涉及到。(目录后的页码为对应内容在书中的页码)，有需要电子版书的我把链接放在最后了。

$1.2$ 概率论回顾 $ProbabilityTheory$($P16$)

$\mathrm{1.2.1}$ 常用公式($P17$)

$$加和规则(sumrule):p(X)=\sum _{Y}p(X,Y)$$ $$乘积规则(productrule):p(X,Y)=p(Y|X)p(X)$$ $$贝叶斯定理(Baye{s}^{\prime }theorem):p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}$$其中分母可以用出现在分子中的项表示：$$p(X)=\sum _{Y}p(X|Y)p(Y)$$ 我们可以把贝叶斯定理的分母看做归一化常数，用来确保贝叶斯定理中条件概率对于所有 $Y$ 的取值之和为 $1$。

$\mathrm{1.2.2}$ 期望和方差 $ExpectationandVariance$ ($P17$)

$$期望(Expectation):E(f)=\sum _{x}p(x)f(x)$$ 在概率分布 $p(x)$ 下，函数 $f(x)$ 的平均值被称为 $f(x)$ 的期望。因此平均值根据 $x$的不同值的相对概率加权。在连续变量的情形下，期望以对应的概率密度的积分的形式表示：
$$E(f)=\int p(x)f(x)dx$$
两种情形下，如果给定有限数量的 $N$ 个点，这些点满足某个概率分布或者概率密度函数，那么期望可以通过求和的方式估计：
$$E(f)\backsimeq \frac{1}{N}\sum _{n=1}^{N}f(x_n)$$
$f(x)$ 的方差 $(variance)$ 被定义为:
$$var[f]=E[(f(x)-E[f(x){]}^2)$$也可写成：
$$var[f]=E[(f(x{)}^2]-E[f(x){]}^2$$特别地，考虑变量 $x$ 自身的方差，由下式给出：
$$var[x]=E[x^2]-E[x{]}^2$$ 对于两个随机变量 $x$ 和 $y$，协方差 $(covariance)$ 被定义为：
c o v [ x , y ] = E x , y [ { x − E ( x ) } { y − E [ y ] } ] = E x , y [ x y ] − E [ x ] E [ y ] cov[x,y]=E_{x,y}[{\{x-E(x)\}}{\{y-E[y]\}}]=E_{x,y}[xy]-E[x]E[y] cov[x,y]=Ex,y​[{x−E(x)}{y−E[y]}]=Ex,y​[xy]−E[x]E[y] 它表示在多大程度上 $x$ 和 $y$ 会共同变化。如果 $x$ 和 $y$ 相互独立，那么它们的协方差为 $0$。
在两个随机向量 $x$ 和 $y$ 的情形下，协方差是⼀个矩阵:
c o v [ x , y ] = E x , y [ { x − E ( x ) } { y T − E [ y T ] } ] = E x , y [ x y T ] − E [ x ] E [ y T ] cov[x,y]=E_{x,y}[{\{x-E(x)\}}{\{y^T-E[y^T]\}}]=E_{x,y}[xy^T]-E[x]E[y^T] cov[x,y]=Ex,y​[{x−E(x)}{yT−E[yT]}]=Ex,y​[xyT]−E[x]E[yT] 如果我们考虑向量 $x$ 各个分量之间的协方差，那么我们可以将记号稍微简化⼀下：
$$cov[x]\equiv cov[x,x]$$

$\mathrm{1.2.3}$ 贝叶斯概率 $BayesianProbabilities$ ($P22$)

   根据随机重复事件的频率来考察概率，把这个叫做经典的 $(classical)$ 或者频率学家$(frequentist)$的关于概率的观点。在更加通用的贝叶斯 $(Bayesian)$ 观点中，频率提供了不确定性的⼀个定量化描述。
   考虑⼀个不确定性事件，例如月球是否曾经处于围绕太阳的自己的轨道上，或者本世纪末北极冰盖是否会消失。这些事件无法重复多次，因此无法定义概率。但是，我们通常会有⼀些想法，例如，北极冰盖融化的速度等等。如果获得到了新鲜的证据，例如人造卫星收集到了⼀些新的修正信息，我们可能就会修正对于冰盖融化速度的观点。我们估计冰盖融化速度会影响我们采取的措施，例如会努力减少温室气体的排放。在这样的情况下，我们可能希望能够定量地描述不确定性，并且根据少量新的证据对不确定性进行精确的修改，对接下来将要采取的动作进行修改，或者对最终的决策进行修改。这可以通过⼀种通用的贝叶斯概率观点来实现。
   即贝叶斯定理通过将观察到的数据融合，来把先验概率转化为后验概率。
   例如在前一节多项式曲线拟合例子中的参数 $w$，在对其进行推断时，我们可以采用⼀个类似的方法。在观察到数据之前，我们有⼀些关于参数 $w$ 的假设，这以先验概率 $p(w)$ 的形式给出。观测数据 $D=t_1,...,t_N$ 的效果可以通过条件概率 $p(D|w)$ 表达：
$$p(w|D)=\frac{p(D|w)p(w)}{p(D)}$$ 该式能够通过后验概率 $p(w|D)$，在观测到 $D$ 之后估计 $w$ 的不确定性。
   贝叶斯定理右侧的量 $p(D|w)$ 由观测数据集 $D$ 来估计，可以被看成参数向量 $w$ 的函数，被称为似然函数 $(likelihoodfunction)$。它表达了在不同的参数向量 $w$ 下，观测数据出现的可能性的大小。注意，似然函数不是 $w$ 的概率分布，并且它关于 $w$ 的积分并不（⼀定）等于1。
   给定似然函数的定义，我们可以⽤自然语言表述贝叶斯定理：
$$posterior\propto likelihood\times prior$$    其中所有的量都可以看成 $w$ 的函数。贝叶斯公式的分母是⼀个归⼀化常数，确保了左侧的后验概率分布是⼀个合理的概率密度，积分为 $1$。实际上，对贝叶斯公式的两侧关于 $w$ 进行积分，我们可以用后验概率分布和似然函数来表达贝叶斯定理的分母：
$$p(D)=\int p(D|w)p(w)dw$$    在贝叶斯观点和频率学家观点中，似然函数 $p(D|w)$ 都起着重要的作用。然而，在两种观点中，使用的方式有着本质的不同。在频率学家的观点中， $w$ 被认为是⼀个固定的参数，它的值由某种形式的“估计”来确定，这个估计的误差通过考察可能的数据集 $D$ 的概率分布来得到。相反，从贝叶斯的观点来看，只有⼀个数据集 $D$ (即实际观测到的数据集)，参数的不确定性通过 $w$ 的概率分布来表达。
   频率学家广泛使用的⼀个估计是最大似然 $(maximumlikelihood)$ 估计，其中 $w$ 的值是使似然函数 $p(D|w)$ 达到最大值的 $w$ 值。这对应于选择使观察到的数据集出现概率最大的 $w$ 的值。在机器学习的文献中，似然函数的负对数被叫做误差函数 $(errorfunction)$。由于负对数是单调递减的函数，最大化似然函数等价于最小化误差函数。

$\mathrm{1.2.4}$ 高斯分布 $GaussianDistribution$ ($P24$)

   对于⼀元实值变量 $x$，高斯分布被定义为：
N ( x ∣ μ , σ 2 ) = 1 ( 2 π σ 2 ) 1 2 e x p { − 1 2 σ 2 ( x − μ ) 2 } N(x|\mu,\sigma^2)=\frac{1}{(2\pi\sigma^2)^\frac{1}{2}}exp{\{-\frac{1}{2\sigma^2}(x-\mu)^2\}} N(x∣μ,σ2)=(2πσ2)21​1​exp{−2σ21​(x−μ)2}    它由两个参数控制：$\mu$，被叫做均值 $(mean)$，以及 ${\sigma }^2$，被叫做方差 $(variance)$。方差的平方根，由 $\sigma$ 给定，被叫做标准差 $(standarddeviation)$。方差的倒数，记作 $\beta =\frac{1}{{\sigma }^2}$，被叫做精度 $(precision)$。
   根据公式，我们看到高斯分布满足：
$$N(x|\mu ,{\sigma }^2)>0$$ 并且很容易证明高斯分布是归⼀化的，因此：
$${\int }_{\infty }^{\infty }N(x|\mu ,{\sigma }^2)dx=1$$ 因此满足了概率密度函数的两个要求。
   关于x的函数在高斯分布下的期望为：
$$E[x]={\int }_{\infty }^{\infty }N(x|\mu ,{\sigma }^2)xdx=\mu$$类似地，⼆阶矩为:
$$E[x]={\int }_{\infty }^{\infty }N(x|\mu ,{\sigma }^2)x^{2}dx={\mu }^2+{\sigma }^2$$x的方差为：
$$var[x]=E[x^2]-E[x{]}^2={\sigma }^2$$分布的最大值被叫做众数。对于高斯分布，众数与均值恰好相等。
   对于 $D$ 维向量 $x$ 的高斯分布，定义为：
N ( x ∣ μ , Σ ) = 1 ( 2 π ) D 2 1 ∣ Σ ∣ 1 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } N(x|\mu,\Sigma)=\frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}exp{\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}} N(x∣μ,Σ)=(2π)2D​1​∣Σ∣21​1​exp{−21​(x−μ)TΣ−1(x−μ)} 其中 $D$ 维向量 $\mu$ 被称为均值，$D\times D$ 的矩阵 $\Sigma$ 被称为协方差，$|\Sigma |$表示 $\Sigma$ 的行列式。
   现在假定我们有⼀个观测的数据集 $x=(x_1,...,x_N{)}^T$，表示标量变量 $x$ 的 $N$ 次观测。假定各次观测是独立地从高斯分布中抽取的，分布的均值 $\mu$ 和方差 ${\sigma }^2$ 未知，我们想根据数据集来确定这些参数。独立地从相同的数据点中抽取的数据点被称为独立同分布 $(independentandidenticallydistributed)$，通常缩写成 $i.i.d.$。
   由于数据集 $x$ 是独立同分布的，因此给定 $\mu$ 和 ${\sigma }^2$ ，我们可以给出数据集的概率：
$$p(x|\mu ,{\sigma }^2)=\prod _{n=1}^{N}N(x_n|\mu ,{\sigma }^2)$$ 这就是高斯分布的似然函数，图像如下图所示：

   高斯概率分布的似然函数由红色曲线表示。其中黑点表示数据集 $x_n$ 的值，给出的似然函数对应于蓝色值的乘积。最大化似然函数涉及到调节高斯分布的均值和方差，使得这个乘积最大。
   使用⼀个观测数据集来决定概率分布的参数的⼀个通用的标准是寻找使似然函数取得最大值的参数值。 在给定数据集的情况下最大化概率的参数(而不是在给定参数的情况下最大化数据集出现的概率)。对数似然函数可以写成:
$$Inp(x|\mu ,{\sigma }^2)=-\frac{1}{2{\sigma }^2}\sum _{n=1}^N(x_n-\mu {)}^2-\frac{N}{2}In{\sigma }^2-\frac{N}{2}In(2\pi )$$ 关于 $\mu$，最大化函数，可以得到最大似然解：
$${\mu }_{ML}=\frac{1}{N}\sum _{n=1}^N{x}_n$$ 这是样本均值 $(samplemean)$，即观测值 $x_n$的均值。类似地，关于 ${\sigma }^2$最大化函数，得到了方差的最大似然解：
$${\sigma }_{ML}^2=\frac{1}{N}\sum _{n=1}^N(x_n-{\mu }_{ML}{)}^2$$ 这是关于样本均值 ${\mu }_{ML}$ 的样本方差 $(samplevariance)$。

   这幅图说明了使用最大似然方法确定高斯分布的方差时，偏移是如何产生的。绿色曲线表示真实的高斯分布，数据点是根据这个概率分布生成的。三条红色曲线表示对三个数据集拟合得到的高斯概率分布，每个数据集包含两个蓝色的数据点，使用上述公式给出的最大似然的结果进行拟合。对三个数据集求平均，均值是正确的，但是方差被系统性地低估了，因为它是相对样本均值进行测量的，而不是相对真实的均值进行测量。

$\mathrm{1.2.5}$ 重新考察曲线拟合问题 $CurveFittingRe-Visited$ ($P26$)

   曲线拟合问题的目标是能够根据 $N$ 个输入 $x=(x_1,...,x_N{)}^T$ 组成的数据集和它们对应的目标值 $t=(t_1,...,t_N{)}^T$，在给出输入变量 $x$ 的新值的情况下，对目标变量 $t$ 进行预测。假定给定 $x$ 的值，对应的 $t$ 值服从高斯分布，分布的均值为 $y(x,w)$，因此，有：
$$p(t|x,\overline{w},\beta )=N(t|y(x,w),{\beta }^{-1})$$

   用训练数据 $x,t$，通过最大似然方法，来决定未知参数 $w$ 和 $\beta$ 的值。似然函数为：
$$p(\overline{t}|\overline{x},\overline{w},\beta )=\prod _{n=1}^{N}N(t_n|y(x_n,\overline{w}),{\beta }^{-1})$$
可以得到对数似然函数:
I n p ( t ‾ ∣ x ‾ , w ‾ , β ) = − β 2 ∑ n = 1 N { y ( x n , w ‾ ) − t n } + N 2 I n β − N 2 I n ( 2 π ) In p(\overline{t}|\overline{x},\overline{w},\beta)=-\frac{\beta}{2}\sum_{n=1}^{N}{\{y(x_n,\overline{w})-t_n\}}+\frac{N}{2}In\beta-\frac{N}{2}In(2\pi) Inp(t∣x,w,β)=−2β​n=1∑N​{y(xn​,w)−tn​}+2N​Inβ−2N​In(2π)    首先考虑确定多项式系数的最大似然解(记作 $w_{ML}$)。我们可以省略公式右侧的最后两项，因为他们不依赖于 $w$。并且，我们注意到，使用⼀个正的常数系数来缩放对数似然函数并不会改变关于 $w$ 的最大值的位置，因此我们可以用 $\frac{1}{2}$ 来代替系数 $\frac{\beta }{2}$。最后，我们不去最大化似然函数，而是等价地去最小化负对数似然函数。于是我们看到，⽬前为止对于确定 $w$ 的问题来说，最大化似然函数等价于最小化前面定义的平方和误差函数 (即 $\overline{w}={\mathrm{X}}^{+}\overline{t}$)。因此，在高斯噪声的假设下，平方和误差函数是最大化似然函数的⼀个自然结果。
   关于 $\beta$ 来最大化函数：
1 β M L = 1 N ∑ n = 1 N { y ( x n , w ‾ M L ) − t n } 2 \frac{1}{\beta_{ML}}=\frac{1}{N}\sum_{n=1}^{N}{\{ y(x_n,{\overline{w}_{ML}})-t_n \}^2} βML​1​=N1​n=1∑N​{y(xn​,wML​)−tn​}2
   现在朝着贝叶斯的方法前进⼀步，引入在多项式系数 $w$ 上的先验分布。简单起见，我考虑下面形式的高斯分布(先验):
p ( w ‾ ∣ α ) = N ( w ‾ ∣ 0 ‾ , α − 1 I ) = ( α 2 π ) M + 1 2 e x p { − α 2 w ‾ T w ‾ } p(\overline{w}|\alpha)=N(\overline{w}|\overline{0},\alpha^{-1}\Iota)=(\frac{\alpha}{2\pi})^{\frac{M+1}{2}}exp{\{-\frac{\alpha}{2}\overline{w}^T\overline{w}\}} p(w∣α)=N(w∣0,α−1I)=(2πα​)2M+1​exp{−2α​wTw} 其中 $\alpha$ 是分布的精度，$M+1$是对于 $M$ 阶多项式的向量 $w$ 的元素的总数。因为 $likelihood$ 想要 $M$ 取得更大，这样能得到更大的 $likelihood$，但太大的 $M$ 会引起过拟合，所以我们希望更多的 $w$ 能取0，故先验的高斯分布的均值为0。 像 $\alpha$ 这样控制模型参数分布的参数，被称为超参数 $(hyperparameters)$。使用贝叶斯定理，$w$ 的后验概率正比于先验分布和似然函数的乘积。
$$p(\overline{w}|\overline{x},\overline{t},\alpha ,\beta )\propto p(\overline{t}|\overline{x},\overline{w},\beta )p(\overline{w}|\alpha )$$ 给定数据集，我们现在通过寻找最可能的 $w$ 值(即最大化后验概率)来确定 $w$。这种技术被称为最大后验 $(maximumposterior)$，简称 $MAP$。其中先验与最大似然的高斯分布都已经给出：
先验： p ( w ‾ ∣ α ) = N ( w ‾ ∣ 0 ‾ , α − 1 I ) = ( α 2 π ) M + 1 2 e x p { − α 2 w ‾ T w ‾ } 先验：p(\overline{w}|\alpha)=N(\overline{w}|\overline{0},\alpha^{-1}\Iota)=(\frac{\alpha}{2\pi})^{\frac{M+1}{2}}exp{\{-\frac{\alpha}{2}\overline{w}^T\overline{w}\}} 先验：p(w∣α)=N(w∣0,α−1I)=(2πα​)2M+1​exp{−2α​wTw} $$最大似然：p(\overline{t}|\overline{x},\overline{w},\beta )=\prod _{n=1}^{N}N(t_n|y(x_n,\overline{w}),{\beta }^{-1})$$ $$故最大后验为：p(\overline{w}|\overline{x},\overline{t},\alpha ,\beta )=N(\overline{w}|\overline{0},{\alpha }^{-1}\mathrm{I})\prod _{n=1}^{N}N(t_n|y(x_n,\overline{w}),{\beta }^{-1})$$经过简化后，最大化后验概率就是最小化下式：
β 2 ∑ n = 1 N { y ( x n , w ‾ ) − t n } 2 + α 2 w ‾ T w ‾ \frac{\beta}{2}\sum_{n=1}^{N}{\{y(x_n,\overline{w})-t_n\}^2}+\frac{\alpha}{2}\overline{w}^T\overline{w} 2β​n=1∑N​{y(xn​,w)−tn​}2+2α​wTw 最后解出：
$$\overline{w}=({\mathrm{X}}^T\mathrm{X}+\frac{\alpha }{\beta }\mathrm{I}{)}^{-1}{\mathrm{X}}^T\overline{t}$$因此最大化后验概率等价于最小化正则化的平方和误差函数，正则化参数为 $\lambda =\frac{\alpha }{\beta }$. 与 $MLE$ 不同的是，在 $MAP$ 中 $\overline{w}$ 依赖于噪声系数 $\beta$，能更好的预测。

$\mathrm{1.2.6}$ 贝叶斯曲线拟合 ($P28$)

   在曲线拟合问题中，我们知道训练数据 $\overline{x}$ 和 $\overline{t}$，以及⼀个新的测试点 $x$，我们的目标是预测 $t$ 的值。因此我们想估计预测分布 $p(t|x,\overline{x},\overline{t})$。这里我们要假设参数 $\alpha$ 和 $\beta$ 是固定的，事先知道的。
   简单地说，贝叶斯方法就是自始至终地使用概率的加和规则和乘积规则。因此预测概率可以写成下面的形式：
$$p(t|x,\overline{x},\overline{t})=\int p(t|x,\overline{t})p(\overline{w}|\overline{x},\overline{t})dw$$ $p(\overline{w}|\overline{x},\overline{t})$是参数的后验分布。预测分布由高斯的形式给出：
$$p(t|x,\overline{x},\overline{t})=N(t|m(x),s^2(x))$$ 其中，均值和方差分别为:
$$m(x)=\beta \varphi (x{)}^{T}S\sum _{n=1}^N\varphi (x_n)t_n$$ $$s^2(x)={\beta }^{-1}+\varphi (x{)}^{T}S\varphi (x)$$其中，矩阵 $S$ 由下式给出:
$$S^{-1}=\alpha \mathrm{I}+\beta \sum _{n=1}^N\varphi (x_n)\varphi (x_n{)}^T$$其中，$\mathrm{I}$ 是单位矩阵，向量 $\varphi (x)$ 被定义为 ${\varphi }_i(x)=x^i(i=0,...,M)$。