概率基础——矩阵正态分布matrix normal distribution

发布于:2024-07-08 ⋅ 阅读:(43) ⋅ 点赞:(0)

矩阵正态分布-matrix normal distribution

最近碰到了这个概念,记录一下

矩阵正态分布是一种推广的正态分布,它应用于矩阵形式的数据。矩阵正态分布在多维数据分析、贝叶斯统计和机器学习中有广泛的应用。其定义和性质如下:

定义

X \mathbf{X} X 是一个 n × m n \times m n×m 的随机矩阵,如果 X \mathbf{X} X 服从矩阵正态分布,记作 X ∼ M N ( M , U , V ) \mathbf{X} \sim \mathcal{MN}(\mathbf{M}, \mathbf{U}, \mathbf{V}) XMN(M,U,V),那么其概率密度函数为:

f ( X ∣ M , U , V ) = exp ⁡ ( − 1 2 t r [ V − 1 ( X − M ) ⊤ U − 1 ( X − M ) ] ) ( 2 π ) n m 2 ∣ V ∣ n 2 ∣ U ∣ m 2 , f(\mathbf{X}|\mathbf{M}, \mathbf{U}, \mathbf{V}) = \frac{\exp\left(-\frac{1}{2} \mathrm{tr}\left[\mathbf{V}^{-1} (\mathbf{X} - \mathbf{M})^\top \mathbf{U}^{-1} (\mathbf{X} - \mathbf{M}) \right]\right)}{(2\pi)^{\frac{nm}{2}} |\mathbf{V}|^{\frac{n}{2}} |\mathbf{U}|^{\frac{m}{2}}}, f(XM,U,V)=(2π)2nmV2nU2mexp(21tr[V1(XM)U1(XM)]),

其中:

  • M \mathbf{M} M n × m n \times m n×m 的均值矩阵。
  • U \mathbf{U} U n × n n \times n n×n 的协方差矩阵,描述了行之间的协方差结构。
  • V \mathbf{V} V m × m m \times m m×m 的协方差矩阵,描述了列之间的协方差结构。

性质

  1. 均值和协方差

    • E [ X ] = M \mathbb{E}[\mathbf{X}] = \mathbf{M} E[X]=M
    • C o v ( v e c ( X ) ) = V ⊗ U \mathrm{Cov}(\mathrm{vec}(\mathbf{X})) = \mathbf{V} \otimes \mathbf{U} Cov(vec(X))=VU

    其中 v e c ( X ) \mathrm{vec}(\mathbf{X}) vec(X) 表示将矩阵 X \mathbf{X} X 展平为一个列向量, ⊗ \otimes 表示 Kronecker 乘积。

  2. 条件分布

    • 如果对 X \mathbf{X} X 的行或列进行条件化,条件分布仍然是矩阵正态分布。
  3. 独立性

    • 如果 U \mathbf{U} U V \mathbf{V} V 都是对角矩阵,那么矩阵中的元素是独立的。
  4. 边际分布

    • 如果 X ∼ M N ( M , U , V ) \mathbf{X} \sim \mathcal{MN}(\mathbf{M}, \mathbf{U}, \mathbf{V}) XMN(M,U,V),那么 X \mathbf{X} X 的任意一行或任意一列的分布是多元正态分布。例如, X \mathbf{X} X 的第 i i i 行的分布为 N ( X i ∗ , V ) \mathcal{N}(\mathbf{X}_{i*}, V) N(Xi,V),其中 X i ∗ \mathbf{X}_{i*} Xi 是第 i i i 行的均值向量。

应用

  1. 多变量统计分析

    • 在多变量统计分析中,用于描述和估计多元数据的协方差结构。
  2. 贝叶斯统计

    • 在贝叶斯统计中,作为先验分布和后验分布的一部分,用于处理矩阵形式的数据。
  3. 机器学习

    • 在机器学习中,特别是在高斯过程回归和多元线性回归中,用于建模和预测矩阵形式的数据。

网站公告

今日签到

点亮在社区的每一天
去签到