改进神经网络在马尔可夫链中去噪效果的方法及公式推导

改进神经网络在马尔可夫链中去噪效果的方法及公式推导

在图像去噪任务中，利用马尔可夫链和神经网络是一种常见且有效的方法。本文将介绍一种改进神经网络在马尔可夫链中去噪效果的方法，并详细推导相关公式。

一、改进方法的核心思想

传统的神经网络在马尔可夫链中去噪时，通常是预测去噪后的图像。而这里提出一种改进方法，即让神经网络预测添加到原始图像上的总噪声，而不是直接预测去噪后的图像。这种方法可以带来更高质量的去噪结果。

二、关键公式推导

1. 公式$(20.34)$

原始公式$(20.8)$经过重新排列得到：
$$\mathbf{x}=\frac{1}{\sqrt{{\alpha }_t}}{\mathbf{z}}_t-\frac{\sqrt{1-{\alpha }_t}}{\sqrt{{\alpha }_t}}{\mathbf{ϵ}}_t$$
其中，$\mathbf{x}$ 是原始数据向量，${\mathbf{z}}_t$ 是在马尔可夫链第 $t$ 步的带噪图像，${\mathbf{ϵ}}_t$ 是添加的噪声，${\alpha }_t$ 是一个与步骤相关的参数。

2. 公式$(20.35)$

将公式$(20.34)$代入公式$(20.16)$（同样未明确给出，但可推测与反向条件分布的均值有关），得到反向条件分布 $q({\mathbf{z}}_{t-1}|{\mathbf{z}}_t,\mathbf{x})$ 的均值 ${\mathbf{m}}_t(\mathbf{x},{\mathbf{z}}_t)$ 的表达式：
$${\mathbf{m}}_t(\mathbf{x},{\mathbf{z}}_t)=\frac{1}{\sqrt{1-{\beta }_t}}\left\{{\mathbf{z}}_t-\frac{{\beta }_t}{\sqrt{1-{\alpha }_t}}{\mathbf{ϵ}}_t\right\}$$
其中，${\beta }_t$ 是另一个与步骤相关的参数。

3. 引入新的神经网络

通常，神经网络 $\mathbf{\mu }({\mathbf{z}}_t,\mathbf{w},t)$ 用于预测去噪后的图像。现在引入一个新的神经网络 $\mathbf{g}({\mathbf{z}}_t,\mathbf{w},t)$，其目标是预测添加到 $\mathbf{x}$ 上以生成 ${\mathbf{z}}_t$ 的总噪声。

4. 公式$(20.36)$

通过与推导$(20.35)$相同的步骤，可以得到两个神经网络函数之间的关系：
$$\mathbf{\mu }({\mathbf{z}}_t,\mathbf{w},t)=\frac{1}{\sqrt{1-{\beta }_t}}\left\{{\mathbf{z}}_t-\frac{{\beta }_t}{\sqrt{1-{\alpha }_t}}\mathbf{g}({\mathbf{z}}_t,\mathbf{w},t)\right\}$$

5. KL散度公式的推导

• 初始的KL散度表达式：公式$(20.33)$（未明确写出，但可推测）是计算两个分布之间的Kullback - Leibler（KL）散度，形式为 $\text{KL}(q({\mathbf{z}}_{t-1}|{\mathbf{z}}_t,\mathbf{x})\Vert p({\mathbf{z}}_{t-1}|{\mathbf{z}}_t,\mathbf{w}))$。KL散度用于衡量两个概率分布之间的差异。
• 代入均值表达式：将前面得到的 ${\mathbf{m}}_t(\mathbf{x},{\mathbf{z}}_t)$ 和 $\mathbf{\mu }({\mathbf{z}}_t,\mathbf{w},t)$ 的表达式代入KL散度公式中。
• 简化KL散度表达式：对于高斯分布，当两个高斯分布 $q\sim \mathcal{N}({\mathbf{\mu }}_q,{\mathbf{\Sigma }}_q)$ 和 $p\sim \mathcal{N}({\mathbf{\mu }}_p,{\mathbf{\Sigma }}_p)$ 的协方差矩阵满足 ${\mathbf{\Sigma }}_q={\mathbf{\Sigma }}_p$ 时，KL散度可以简化为：
  $$\text{KL}(q\Vert p)=\frac{1}{2}\left(({\mathbf{\mu }}_p-{\mathbf{\mu }}_q{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_p-{\mathbf{\mu }}_q)\right)$$
  经过推导可以得到：
  $$\text{KL}(q({\mathbf{z}}_{t-1}|{\mathbf{z}}_t,\mathbf{x})\Vert p({\mathbf{z}}_{t-1}|{\mathbf{z}}_t,\mathbf{w}))=\frac{{\beta }_t}{2(1-{\alpha }_t)(1-{\beta }_t)}{\Vert \mathbf{g}({\mathbf{z}}_t,\mathbf{w},t)-{\mathbf{ϵ}}_t\Vert }^2+\text{const}$$
• 代入 ${\mathbf{z}}_t$ 的表达式：根据$(20.8)$，${\mathbf{z}}_t$ 可以表示为 ${\mathbf{z}}_t=\sqrt{{\alpha }_t}\mathbf{x}+\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_t$。将 ${\mathbf{z}}_t$ 的表达式代入到 $\mathbf{g}({\mathbf{z}}_t,\mathbf{w},t)$ 中，得到最终的表达式：
  $$\text{KL}(q({\mathbf{z}}_{t-1}|{\mathbf{z}}_t,\mathbf{x})\Vert p({\mathbf{z}}_{t-1}|{\mathbf{z}}_t,\mathbf{w}))=\frac{{\beta }_t}{2(1-{\alpha }_t)(1-{\beta }_t)}{\Vert \mathbf{g}(\sqrt{{\alpha }_t}\mathbf{x}+\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_t,\mathbf{w},t)-{\mathbf{ϵ}}_t\Vert }^2+\text{const}$$

三、总结

通过改变神经网络的预测目标，从预测去噪图像变为预测添加的噪声，并经过上述一系列的公式推导，展示了如何通过调整神经网络 $\mathbf{g}({\mathbf{z}}_t,\mathbf{w},t)$ 来最小化两个分布之间的KL散度，从而提高去噪效果。这种方法为图像去噪任务提供了一种新的思路和有效的手段。

以上就是本次分享的内容，希望对大家在图像去噪领域的研究和实践有所帮助。