方差,协方差及协方差矩阵的计算

发布于:2025-03-16 ⋅ 阅读:(17) ⋅ 点赞:(0)

1.方差

  • 方差是用来衡量一组数据的离散程度,数序表达式如下:
    σ 2 = 1 N ∑ i = 1 N ( x i − μ ) 2 \sigma^2=\frac1N\sum_{i=1}^N(x_i-\mu)^2 σ2=N1i=1N(xiμ)2

    • σ 2 σ^2 σ2表示样本的总体方差,
    • N N N 表示样本总数,
    • x i x _i xi是第 i 个样本,
    • μ μ μ 是数据集的平均值 ( μ = 1 N ∑ i = 1 N x i ) (\mu=\frac1N\sum_{i=1}^Nx_i) (μ=N1i=1Nxi)
  • 假设某班级有 5 名学生的数学成绩为: 85 , 74 , 63 , 95 , 99 85, 74, 63, 95, 99 85,74,63,95,99, 计算平均值为 μ = 85 + 74 + 63 + 95 + 99 5 = 83.2 μ = \frac{85 +74 + 63 + 95 + 99} 5 =83.2 μ=585+74+63+95+99=83.2 ,方差的计算如下:
    σ 成绩 2 = ( 85 − 83.5 ) 2 + ( 74 − 83.5 ) 2 + ( 63 − 83.5 ) 2 + ( 95 − 83.5 ) 2 + ( 99 − 83.5 ) 2 5 = 177.05 {σ_{成绩}}^2 = \frac{(85-83.5)^2 +(74-83.5)^2 + (63-83.5)^2 + (95-83.5)^2 + (99 - 83.5)^2}{5} = 177.05 σ成绩2=5(8583.5)2+(7483.5)2+(6383.5)2+(9583.5)2+(9983.5)2=177.05

2.协方差

  • 协方差是用来衡量两组样本之间的关系,数序表达式如下:
    σ x σ y = 1 N ∑ i = 1 N ( x i − μ x ) ( y i − μ y ) \sigma_x\sigma_y=\frac{1}{N}\sum_{i=1}^N(x_i-\mu_x)(y_i-\mu_y) σxσy=N1i=1N(xiμx)(yiμy)
    • σ x σ y σ_xσ_y σxσy表示两组样本的总体协方差,
    • N N N 是样本对的总数,
    • x i , y i x _i, y_i xi,yi 是第 i 对样本,
    • μ x , μ y μ_x,μ_y μx,μy分别表示两组样本的均值。
  • 例如,要计算如下 x , y x, y x,y 两个样本的协方差:
x y
500 200
600 250
451 180
    • 计算 x x x的平均值 u x = 500 + 600 + 451 3 = 517 u_x = \frac{500 +600 +451}3 = 517 ux=3500+600+451=517
    • 计算 y y y的平均值 u y = 200 + 250 + 180 3 = 210 u_y = \frac{200 +250 +180}3 = 210 uy=3200+250+180=210
      σ x σ y = ( 500 − 517 ) ( 200 − 210 ) + ( 600 − 517 ) ( 250 − 210 ) + ( 451 − 517 ) ( 180 − 210 ) 3 = 1823.33... σ_xσ_y = \frac{(500-517)(200 - 210) + (600-517)(250-210) + (451-517)(180-210) }{3} = 1823.33... σxσy=3(500517)(200210)+(600517)(250210)+(451517)(180210)=1823.33...

3.协方差矩阵

协方差矩阵就是将多组数据的方差和协方差用矩阵的形式表达出来,例如如下三组样本,其协方差的矩阵排布如下,从下图可以看出,对角线上是各个样本的方差,两边则是样本之间的协方差

x y z
x 1 x_1 x1 y 1 y_1 y1 z 1 z_1 z1
x 2 x_2 x2 y 2 y_2 y2 z 2 z_2 z2
x 3 x_3 x3 y 3 y_3 y3 z 3 z_3 z3

c o v = [ σ x 2 σ x σ y σ x σ z σ y σ x σ y 2 σ y σ z σ z σ x σ z σ y σ x 2 ] cov = \left[\begin{array}{ccc}σ_x^2&σ_xσ_y&σ_xσ_z\\ σ_yσ_x&σ_y^2&σ_yσ_z\\ σ_zσ_x&σ_zσ_y&σ_x^2\end{array}\right] cov= σx2σyσxσzσxσxσyσy2σzσyσxσzσyσzσx2
在这里插入图片描述

4.通过矩阵运算求解一个矩阵的协方差矩阵

  • 将第三节使用的样本写成矩阵的形式,本节主要求解这个矩阵的协方差矩阵
    [ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] \left[\begin{array}{ccc}x_1&y_1&z_1\\ x_2&y_2&z_2\\ x_3&y_3&z_3\end{array}\right] x1x2x3y1y2y3z1z2z3
  • 求出过度矩阵 a a a,根据下面计算可知,过度矩阵 a a a 其实是求解了每个样本的 标准差
    a = [ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] − 1 3 [ 1 1 1 1 1 1 1 1 1 ] [ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] − − − − a = [ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] − 1 3 [ x 1 + x 2 + x 3 y 1 + y 2 + y 3 z 1 + z 2 + z 3 x 1 + x 2 + x 3 y 1 + y 2 + y 3 z 1 + z 2 + z 3 x 1 + x 2 + x 3 y 1 + y 2 + y 3 z 1 + z 2 + z 3 ] − − − − a = [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 3 − 1 3 ( z 1 + z 2 + z 3 ) ] a = \left[\begin{array}{ccc}x_1&y_1&z_1\\x_2&y_2&z_2\\x_3&y_3&z_3\end{array}\right] - \frac{1}{3} \left[\begin{array}{ccc}1&1&1\\1&1&1\\1&1&1\end{array}\right] \left[\begin{array}{ccc}x_1&y_1&z_1\\x_2&y_2&z_2\\x_3&y_3&z_3\end{array}\right] \\ ----\\ a = \left[\begin{array}{ccc}x_1&y_1&z_1\\x_2&y_2&z_2\\x_3&y_3&z_3\end{array}\right] - \frac{1}{3} \left[\begin{array}{ccc}x_1+x_2+x_3&y_1+y_2+y_3&z_1+z_2+z_3\\x_1+x_2+x_3&y_1+y_2+y_3&z_1+z_2+z_3\\x_1+x_2+x_3&y_1+y_2+y_3&z_1+z_2+z_3\end{array}\right] \\ ---- \\ a = \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&y_1 - \frac{1}{3} (y_1+y_2+y_3)&z_1 -\frac{1}{3} (z_1+z_2+z_3) \\x_2 - \frac{1}{3} (x_1+x_2+x_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)\\x_3 - \frac{1}{3} (x_1+x_2+x_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)&z_3 -\frac{1}{3} (z_1+z_2+z_3)\end{array}\right] a= x1x2x3y1y2y3z1z2z3 31 111111111 x1x2x3y1y2y3z1z2z3 a= x1x2x3y1y2y3z1z2z3 31 x1+x2+x3x1+x2+x3x1+x2+x3y1+y2+y3y1+y2+y3y1+y2+y3z1+z2+z3z1+z2+z3z1+z2+z3 a= x131(x1+x2+x3)x231(x1+x2+x3)x331(x1+x2+x3)y131(y1+y2+y3)y231(y1+y2+y3)y331(y1+y2+y3)z131(z1+z2+z3)z231(z1+z2+z3)z331(z1+z2+z3)
  • 最后求解协方差矩阵P
    P = 1 3 ∗ a T ∗ a P = \frac{1}{3} * a^T *a P=31aTa

a T = [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) z 3 − 1 3 ( z 1 + z 2 + z 3 ) ] a^T = \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&x_2 - \frac{1}{3} (x_1+x_2+x_3)&x_3 - \frac{1}{3} (x_1+x_2+x_3) \\ y_1 - \frac{1}{3} (y_1+y_2+y_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)\\ z_1 - \frac{1}{3} (z_1+z_2+z_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)&z_3 -\frac{1}{3}(z_1+z_2+z_3)\end{array}\right] aT= x131(x1+x2+x3)y131(y1+y2+y3)z131(z1+z2+z3)x231(x1+x2+x3)y231(y1+y2+y3)z231(z1+z2+z3)x331(x1+x2+x3)y331(y1+y2+y3)z331(z1+z2+z3)

P = 1 3 ∗ [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) z 3 − 1 3 ∗ ( z 1 + z 2 + z 3 ) ] ∗ [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 3 − 1 3 ( z 1 + z 2 + z 3 ) ] P = \frac{1}{3} * \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&x_2 - \frac{1}{3} (x_1+x_2+x_3)&x_3 - \frac{1}{3} (x_1+x_2+x_3) \\ y_1 - \frac{1}{3} (y_1+y_2+y_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)\\ z_1 - \frac{1}{3} (z_1+z_2+z_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)&z_3 -\frac{1}{3} *(z_1+z_2+z_3)\end{array}\right] * \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&y_1 - \frac{1}{3} (y_1+y_2+y_3)&z_1 -\frac{1}{3} (z_1+z_2+z_3) \\x_2 - \frac{1}{3} (x_1+x_2+x_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)\\x_3 - \frac{1}{3} (x_1+x_2+x_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)&z_3 -\frac{1}{3} (z_1+z_2+z_3)\end{array}\right] P=31 x131(x1+x2+x3)y131(y1+y2+y3)z131(z1+z2+z3)x231(x1+x2+x3)y231(y1+y2+y3)z231(z1+z2+z3)x331(x1+x2+x3)y331(y1+y2+y3)z331(z1+z2+z3) x131(x1+x2+x3)x231(x1+x2+x3)x331(x1+x2+x3)y131(y1+y2+y3)y231(y1+y2+y3)y331(y1+y2+y3)z131(z1+z2+z3)z231(z1+z2+z3)z331(z1+z2+z3)

  • 如此运算便可通过矩阵运算求出协方差矩阵

网站公告

今日签到

点亮在社区的每一天
去签到