Fisher信息矩阵（Fisher Information Matrix，简称FIM）

Fisher信息矩阵简介

Fisher信息矩阵（Fisher Information Matrix，简称FIM）是统计学和信息理论中的一个重要概念，广泛应用于参数估计、统计推断和机器学习领域。它以统计学家罗纳德·费希尔（Ronald Fisher）的名字命名，反映了概率分布对参数变化的敏感度，是衡量模型参数估计不确定性的核心工具。

什么是Fisher信息矩阵？

Fisher信息矩阵是一个对称的方阵，用于描述概率密度函数（或概率质量函数）在其参数下的信息含量。简单来说，它告诉我们通过观测数据能够获得多少关于未知参数的信息。对于一个参数化的概率分布 ( $p(x|\theta )$ )，其中 ( $\theta$ ) 是参数向量，Fisher信息矩阵 ( $I(\theta )$ ) 的定义基于对数似然函数的二阶导数。

数学定义

假设我们有一个概率密度函数 ( $p(x|\theta )$ )，其中 ( $\theta =({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$ ) 是 ( $k$ ) 维参数向量。Fisher信息矩阵 ( $I(\theta )$ ) 的元素可以通过以下两种等价的方式定义：

1. 基于期望的定义：
   $$I(\theta {)}_{ij}=E\left[\frac{\partial \log p(x|\theta )}{\partial {\theta }_i}\frac{\partial \log p(x|\theta )}{\partial {\theta }_j}|\theta \right]$$
   这里，( $E[\cdot ]$ ) 表示在给定 ( $\theta$ ) 下的期望，( $\frac{\partial \log p(x|\theta )}{\partial {\theta }_i}$ ) 是对数似然函数对第 ( $i$ ) 个参数的偏导数，也称为得分函数（score function）。

2. 基于二阶导数的定义（在一定条件下等价）：
   $$I(\theta {)}_{ij}=-E\left[\frac{{\partial }^2\log p(x|\theta )}{\partial {\theta }_i\partial {\theta }_j}|\theta \right]$$
   这是对数似然函数的二阶偏导数的负期望值，通常称为Hessian矩阵的期望。

这两种定义在正则条件下（例如，分布满足可微性和期望的可交换性）是等价的。

一个简单例子

为了更好地理解，假设我们有一个正态分布 ( $N(\mu ,{\sigma }^2)$ )，其中参数 ( $\theta =(\mu ,{\sigma }^2)$ )。我们来计算它的Fisher信息矩阵：

对数似然函数

对于单个观测值 ( $x$ )：
$$\log p(x|\mu ,{\sigma }^2)=-\frac{1}{2}\log (2\pi {\sigma }^2)-\frac{(x-\mu {)}^2}{2{\sigma }^2}$$

计算得分函数

• 对 ( $\mu$ ) 求偏导：
  $$\frac{\partial \log p}{\partial \mu }=\frac{x-\mu }{{\sigma }^2}$$
• 对 ( ${\sigma }^2$ ) 求偏导：
  $$\frac{\partial \log p}{\partial {\sigma }^2}=-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}$$

Fisher信息矩阵元素

• ( $I_{11}=E\left[{\left(\frac{x-\mu }{{\sigma }^2}\right)}^2\right]=\frac{1}{{\sigma }^2}$ )，因为 ( $E[(x-\mu {)}^2]={\sigma }^2$ )。
• ( $I_{22}=E\left[{\left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)}^2\right]=\frac{1}{2({\sigma }^2{)}^2}$ )。计算过程见下文。
• ( $I_{12}=I_{21}=E\left[\frac{x-\mu }{{\sigma }^2}\cdot \left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)\right]=0$ )（交叉项期望为零）。计算过程见下文。

于是，Fisher信息矩阵为：
$$I(\theta )=\left[\begin{array}{cc}\frac{1}{{\sigma }^2}& 0\\ 0& \frac{1}{2({\sigma }^2{)}^2}\end{array}\right]$$

Fisher信息矩阵的性质

1. 正定性：如果模型是可识别的（即不同参数对应不同分布），Fisher信息矩阵通常是正定的，这意味着它可以用来衡量参数估计的“曲率”。
2. 对角元素：对角线上的元素 ( $I_{ii}$ ) 表示单个参数 ( ${\theta }_i$ ) 的信息量。
3. 独立性：如果参数之间是独立的（得分函数的交叉项期望为零），矩阵将是对角矩阵。

应用

1. Cramér-Rao下界：
   Fisher信息矩阵的一个重要应用是提供参数估计方差的下界。对于一个无偏估计器 ( $\hat{\theta }$ )，其协方差矩阵满足：
   $$\text{Cov}(\hat{\theta })\ge I(\theta {)}^{-1}$$
   其中 ( $I(\theta {)}^{-1}$ ) 是Fisher信息矩阵的逆矩阵。这表明，估计器的精度受限于Fisher信息。

2. 最大似然估计：
   在最大似然估计（MLE）中，Fisher信息矩阵的逆可以用来近似估计参数的协方差矩阵，尤其是在大样本情况下。

3. 机器学习：
   在深度学习中，Fisher信息矩阵被用于优化算法（如自然梯度下降）和模型正则化，帮助理解损失函数的几何结构。

总结

Fisher信息矩阵是统计学中的一个强大工具，它连接了概率分布、参数估计和信息理论。通过量化数据中包含的参数信息，它为我们提供了理解模型行为和估计精度的基础。尽管计算复杂，但在许多实际问题中，它可以通过数值方法或近似来实现。

如果你需要更深入的探讨或具体例子，请告诉我，我可以进一步扩展！

$I_{22}$复杂计算过程

以下是关于Fisher信息矩阵元素 ( $I_{22}$ ) 的计算过程

第一部分：计算 ( $I_{22}$ )

给出的表达式是：

$$I_{22}=E\left[{\left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)}^2\right]$$

并提到它等于 ( $\frac{1}{2({\sigma }^2{)}^2}$ )。让我们一步步验证这个计算过程，假设 ( $x\sim N(\mu ,{\sigma }^2)$ )，因为Fisher信息矩阵通常在正态分布的背景下计算。

步骤 1：定义对数似然函数

对于来自正态分布 ( $N(\mu ,{\sigma }^2)$ ) 的单个观测值 ( $x$ )，概率密度函数为：

$$p(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

对数似然函数为：

$$\log p(x|\mu ,{\sigma }^2)=-\frac{1}{2}\log (2\pi {\sigma }^2)-\frac{(x-\mu {)}^2}{2{\sigma }^2}$$

步骤 2：对 ( ${\sigma }^2$ ) 求偏导数

由于 ($I_{22}$ ) 对应参数 ( ${\theta }_2={\sigma }^2$ )，我们需要计算：

$$\frac{\partial \log p}{\partial {\sigma }^2}$$

• 第一项：( $-\frac{1}{2}\log (2\pi {\sigma }^2)=-\frac{1}{2}\log 2\pi -\frac{1}{2}\log {\sigma }^2$ )

$$\frac{\partial }{\partial {\sigma }^2}\left(-\frac{1}{2}\log {\sigma }^2\right)=-\frac{1}{2}\cdot \frac{1}{{\sigma }^2}=-\frac{1}{2{\sigma }^2}$$

（这里使用了链式法则：( $\frac{d}{d{\sigma }^2}\log {\sigma }^2=\frac{1}{{\sigma }^2}$ )。）

• 第二项：( $-\frac{(x-\mu {)}^2}{2{\sigma }^2}$ )

$$\frac{\partial }{\partial {\sigma }^2}\left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)=-\frac{(x-\mu {)}^2}{2}\cdot (-1)({\sigma }^2{)}^{-2}=\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}$$

因此：

$$\frac{\partial \log p}{\partial {\sigma }^2}=-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}$$

这与给出的期望内的表达式一致.

步骤 3：对偏导数平方

$$I_{22}=E\left[{\left(\frac{\partial \log p}{\partial {\sigma }^2}\right)}^2\right]=E\left[{\left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)}^2\right]$$

展开平方：

$${\left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)}^2={\left(-\frac{1}{2{\sigma }^2}\right)}^2+2\left(-\frac{1}{2{\sigma }^2}\right)\left(\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)+{\left(\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)}^2$$

逐项简化：

1. ( ${\left(-\frac{1}{2{\sigma }^2}\right)}^2=\frac{1}{4({\sigma }^2{)}^2}$ )

2. ( $2\left(-\frac{1}{2{\sigma }^2}\right)\left(\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)=-\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^3}$ )

3. ( ${\left(\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)}^2=\frac{(x-\mu {)}^4}{4({\sigma }^2{)}^4}$ )

因此：

$$I_{22}=E\left[\frac{1}{4({\sigma }^2{)}^2}-\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^3}+\frac{(x-\mu {)}^4}{4({\sigma }^2{)}^4}\right]$$

步骤 4：计算期望

由于 ( ${\sigma }^2$ ) 是参数（常数），我们对 ( $x$ ) 取期望：

• ( $E\left[\frac{1}{4({\sigma }^2{)}^2}\right]=\frac{1}{4({\sigma }^2{)}^2}$ ) （常数）

• ( $E\left[-\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^3}\right]=-\frac{1}{2({\sigma }^2{)}^3}E[(x-\mu {)}^2]$ )

• ( $E\left[\frac{(x-\mu {)}^4}{4({\sigma }^2{)}^4}\right]=\frac{1}{4({\sigma }^2{)}^4}E[(x-\mu {)}^4]$ )

对于 ( $x\sim N(\mu ,{\sigma }^2)$ )：

• ( $E[(x-\mu {)}^2]=\text{方差}={\sigma }^2$ )

• ( $E[(x-\mu {)}^4]=3({\sigma }^2{)}^2$ ) （正态分布的四阶中心矩）

代入：

$$I_{22}=\frac{1}{4({\sigma }^2{)}^2}-\frac{1}{2({\sigma }^2{)}^3}\cdot {\sigma }^2+\frac{1}{4({\sigma }^2{)}^4}\cdot 3({\sigma }^2{)}^2$$

$$=\frac{1}{4({\sigma }^2{)}^2}-\frac{1}{2({\sigma }^2{)}^2}+\frac{3}{4({\sigma }^2{)}^2}$$

$$=\left(\frac{1}{4}-\frac{2}{4}+\frac{3}{4}\right)\frac{1}{({\sigma }^2{)}^2}=\frac{2}{4}\frac{1}{({\sigma }^2{)}^2}=\frac{1}{2({\sigma }^2{)}^2}$$

这证实了：

$$I_{22}=\frac{1}{2({\sigma }^2{)}^2}$$

这个计算依赖于对偏导数平方后展开，并利用正态分布的矩，结果如上所示。

第二部分：两个偏导的乘积是否等价于平方？

两个偏导的乘积等价成平方了吗？让我们在 ( $\theta =(\mu ,{\sigma }^2)$ ) 的Fisher信息矩阵背景下解释这个问题。

Fisher信息矩阵元素

• ( $I_{11}=E\left[{\left(\frac{\partial \log p}{\partial \mu }\right)}^2\right]$ )

• ( $I_{12}=I_{21}=E\left[\frac{\partial \log p}{\partial \mu }\frac{\partial \log p}{\partial {\sigma }^2}\right]$ )

• ( $I_{22}=E\left[{\left(\frac{\partial \log p}{\partial {\sigma }^2}\right)}^2\right]$ ) （如上计算）

对角元素是平方，非对角元素是乘积。

解答交叉项期望为零

为什么 ( $I_{12}=I_{21}=E\left[\frac{x-\mu }{{\sigma }^2}\cdot \left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)\right]=0$ )?

背景

在Fisher信息矩阵中，( $I_{ij}$ ) 表示参数 ( ${\theta }_i$ ) 和 ( ${\theta }_j$ ) 的信息关联。对于正态分布 ( $N(\mu ,{\sigma }^2)$ )，我们令 ( ${\theta }_1=\mu$ )，( ${\theta }_2={\sigma }^2$ )。这里，( $I_{12}$ ) 是交叉项，定义为：

$$I_{12}=E\left[\frac{\partial \log p}{\partial \mu }\cdot \frac{\partial \log p}{\partial {\sigma }^2}\right]$$

它衡量了 ( $\mu$ ) 和 ( ${\sigma }^2$ ) 之间的信息相关性。如果 ( $I_{12}=0$ )，说明这两个参数在信息上是“正交”的，也就是说，一个参数的得分函数（score function）与另一个参数的得分函数在期望上是无关的。

计算过程

步骤 1：计算交叉项 ( $I_{12}$ )

$$I_{12}=E\left[\frac{\partial \log p}{\partial \mu }\cdot \frac{\partial \log p}{\partial {\sigma }^2}\right]=E\left[\frac{x-\mu }{{\sigma }^2}\cdot \left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)\right]$$

展开乘积：

$$\frac{x-\mu }{{\sigma }^2}\cdot \left(-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}\right)=\frac{x-\mu }{{\sigma }^2}\cdot \left(-\frac{1}{2{\sigma }^2}\right)+\frac{x-\mu }{{\sigma }^2}\cdot \frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}$$

$$=-\frac{x-\mu }{2({\sigma }^2{)}^2}+\frac{(x-\mu {)}^3}{2({\sigma }^2{)}^3}$$

因此：

$$I_{12}=E\left[-\frac{x-\mu }{2({\sigma }^2{)}^2}+\frac{(x-\mu {)}^3}{2({\sigma }^2{)}^3}\right]$$

由于期望是线性的，我们可以分开计算：

$$I_{12}=-\frac{1}{2({\sigma }^2{)}^2}E[x-\mu ]+\frac{1}{2({\sigma }^2{)}^3}E[(x-\mu {)}^3]$$

步骤 2：计算正态分布的矩

对于 ( $x\sim N(\mu ,{\sigma }^2)$ )：

• ( $E[x-\mu ]=0$ ) （一阶中心矩，因为均值为 ( $\mu$ )）

• ( $E[(x-\mu {)}^3]=0$ ) （三阶中心矩，由于正态分布是对称的，奇数阶中心矩为零）

代入：

$$I_{12}=-\frac{1}{2({\sigma }^2{)}^2}\cdot 0+\frac{1}{2({\sigma }^2{)}^3}\cdot 0=0$$

所以：

$$I_{12}=0$$

这就是为什么交叉项期望为零。

解释：为什么会是零？

这个结果的背后有深刻的统计意义：

1. 正态分布的对称性：

   • ( $x-\mu$ ) 的分布是对称的（服从 ( $N(0,{\sigma }^2)$ )），其奇数阶中心矩（如 ( $E[x-\mu ]$ ) 和 ( $E[(x-\mu {)}^3]$ )）都为零。
   • ( $\frac{\partial \log p}{\partial \mu }=\frac{x-\mu }{{\sigma }^2}$ ) 是线性项，期望为零。
   • ( $\frac{\partial \log p}{\partial {\sigma }^2}=-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}$ ) 包含常数项和二次项，乘以奇数项 ( $x-\mu$ ) 后，奇数阶的部分在期望下消失。

2. 参数的正交性：

   • 在正态分布中，( $\mu$ ) 和 ( ${\sigma }^2$ ) 的得分函数是“正交”的，意味着它们提供的信息在统计上是独立的。
   • 当 ( $I_{12}=0$ )，Fisher信息矩阵是对角矩阵，表明 ( $\mu$ ) 和 ( ${\sigma }^2$ ) 的估计不会相互干扰。

3. 直观理解：

   • ( $\frac{x-\mu }{{\sigma }^2}$ ) 表示数据偏离均值的程度，是随机的正负波动。
   • ($-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2({\sigma }^2{)}^2}$ ) 与方差相关，是关于偏差大小的量。
   • 这两者乘积的正负波动在对称分布下互相抵消，期望为零。

验证：另一种方法（二阶导数）

Fisher信息矩阵也可以用二阶导数的负期望定义：

$$I_{12}=-E\left[\frac{{\partial }^2\log p}{\partial \mu \partial {\sigma }^2}\right]$$

计算二阶混合偏导：

$$\frac{\partial }{\partial {\sigma }^2}\left(\frac{x-\mu }{{\sigma }^2}\right)=(x-\mu )\cdot (-1)({\sigma }^2{)}^{-2}=-\frac{x-\mu }{({\sigma }^2{)}^2}$$

$$I_{12}=-E\left[-\frac{x-\mu }{({\sigma }^2{)}^2}\right]=\frac{1}{({\sigma }^2{)}^2}E[x-\mu ]=0$$

这与得分函数方法一致，进一步确认 ( $I_{12}=0$ )。

结论

( $I_{12}=0$ ) 是因为正态分布的奇数阶中心矩为零，导致 ( $\frac{\partial \log p}{\partial \mu }$ ) 和 ( $\frac{\partial \log p}{\partial {\sigma }^2}$ ) 的乘积在期望下抵消。这反映了 ( $\mu$ ) 和 ( ${\sigma }^2$ ) 在信息上的独立性，是正态分布的一个重要特性。

后记

2025年2月24日21点43分于上海，在Grok3大模型辅助下完成。