1.方差
方差是用来衡量一组数据的离散程度，数序表达式如下:
σ 2 = 1 N ∑ i = 1 N ( x i − μ ) 2 \sigma^2=\frac1N\sum_{i=1}^N(x_i-\mu)^2 σ2=N1i=1∑N(xi−μ)2- σ 2 σ^2 σ2表示样本的总体方差，
- N N N 表示样本总数，
- x i x _i xi是第 i 个样本，
- μ μ μ 是数据集的平均值 ( μ = 1 N ∑ i = 1 N x i ) (\mu=\frac1N\sum_{i=1}^Nx_i) (μ=N1∑i=1Nxi)
假设某班级有 5 名学生的数学成绩为： 85 , 74 , 63 , 95 , 99 85, 74, 63, 95, 99 85,74,63,95,99, 计算平均值为 μ = 85 + 74 + 63 + 95 + 99 5 = 83.2 μ = \frac{85 +74 + 63 + 95 + 99} 5 =83.2 μ=585+74+63+95+99=83.2 ,方差的计算如下：
σ 成绩 2 = ( 85 − 83.5 ) 2 + ( 74 − 83.5 ) 2 + ( 63 − 83.5 ) 2 + ( 95 − 83.5 ) 2 + ( 99 − 83.5 ) 2 5 = 177.05 {σ_{成绩}}^2 = \frac{(85-83.5)^2 +(74-83.5)^2 + (63-83.5)^2 + (95-83.5)^2 + (99 - 83.5)^2}{5} = 177.05 σ成绩2=5(85−83.5)2+(74−83.5)2+(63−83.5)2+(95−83.5)2+(99−83.5)2=177.05
2.协方差
- 协方差是用来衡量两组样本之间的关系，数序表达式如下:
σ x σ y = 1 N ∑ i = 1 N ( x i − μ x ) ( y i − μ y ) \sigma_x\sigma_y=\frac{1}{N}\sum_{i=1}^N(x_i-\mu_x)(y_i-\mu_y) σxσy=N1i=1∑N(xi−μx)(yi−μy)- σ x σ y σ_xσ_y σxσy表示两组样本的总体协方差，
- N N N 是样本对的总数，
- x i , y i x _i, y_i xi,yi 是第 i 对样本，
- μ x , μ y μ_x,μ_y μx,μy分别表示两组样本的均值。
- 例如，要计算如下 x , y x, y x,y 两个样本的协方差：
| x | y |
|---|---|
| 500 | 200 |
| 600 | 250 |
| 451 | 180 |
-
- 计算 x x x的平均值 u x = 500 + 600 + 451 3 = 517 u_x = \frac{500 +600 +451}3 = 517 ux=3500+600+451=517
- 计算 y y y的平均值 u y = 200 + 250 + 180 3 = 210 u_y = \frac{200 +250 +180}3 = 210 uy=3200+250+180=210
σ x σ y = ( 500 − 517 ) ( 200 − 210 ) + ( 600 − 517 ) ( 250 − 210 ) + ( 451 − 517 ) ( 180 − 210 ) 3 = 1823.33... σ_xσ_y = \frac{(500-517)(200 - 210) + (600-517)(250-210) + (451-517)(180-210) }{3} = 1823.33... σxσy=3(500−517)(200−210)+(600−517)(250−210)+(451−517)(180−210)=1823.33...
3.协方差矩阵
协方差矩阵就是将多组数据的方差和协方差用矩阵的形式表达出来，例如如下三组样本,其协方差的矩阵排布如下，从下图可以看出，对角线上是各个样本的方差，两边则是样本之间的协方差
| x | y | z |
|---|---|---|
| x 1 x_1 x1 | y 1 y_1 y1 | z 1 z_1 z1 |
| x 2 x_2 x2 | y 2 y_2 y2 | z 2 z_2 z2 |
| x 3 x_3 x3 | y 3 y_3 y3 | z 3 z_3 z3 |
c o v = [ σ x 2 σ x σ y σ x σ z σ y σ x σ y 2 σ y σ z σ z σ x σ z σ y σ x 2 ] cov = \left[\begin{array}{ccc}σ_x^2&σ_xσ_y&σ_xσ_z\\ σ_yσ_x&σ_y^2&σ_yσ_z\\ σ_zσ_x&σ_zσ_y&σ_x^2\end{array}\right] cov=
σx2σyσxσzσxσxσyσy2σzσyσxσzσyσzσx2
4.通过矩阵运算求解一个矩阵的协方差矩阵
- 将第三节使用的样本写成矩阵的形式,本节主要求解这个矩阵的协方差矩阵
[ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] \left[\begin{array}{ccc}x_1&y_1&z_1\\ x_2&y_2&z_2\\ x_3&y_3&z_3\end{array}\right] x1x2x3y1y2y3z1z2z3 - 求出过度矩阵 a a a,根据下面计算可知，过度矩阵 a a a 其实是求解了每个样本的 标准差
a = [ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] − 1 3 [ 1 1 1 1 1 1 1 1 1 ] [ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] − − − − a = [ x 1 y 1 z 1 x 2 y 2 z 2 x 3 y 3 z 3 ] − 1 3 [ x 1 + x 2 + x 3 y 1 + y 2 + y 3 z 1 + z 2 + z 3 x 1 + x 2 + x 3 y 1 + y 2 + y 3 z 1 + z 2 + z 3 x 1 + x 2 + x 3 y 1 + y 2 + y 3 z 1 + z 2 + z 3 ] − − − − a = [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 3 − 1 3 ( z 1 + z 2 + z 3 ) ] a = \left[\begin{array}{ccc}x_1&y_1&z_1\\x_2&y_2&z_2\\x_3&y_3&z_3\end{array}\right] - \frac{1}{3} \left[\begin{array}{ccc}1&1&1\\1&1&1\\1&1&1\end{array}\right] \left[\begin{array}{ccc}x_1&y_1&z_1\\x_2&y_2&z_2\\x_3&y_3&z_3\end{array}\right] \\ ----\\ a = \left[\begin{array}{ccc}x_1&y_1&z_1\\x_2&y_2&z_2\\x_3&y_3&z_3\end{array}\right] - \frac{1}{3} \left[\begin{array}{ccc}x_1+x_2+x_3&y_1+y_2+y_3&z_1+z_2+z_3\\x_1+x_2+x_3&y_1+y_2+y_3&z_1+z_2+z_3\\x_1+x_2+x_3&y_1+y_2+y_3&z_1+z_2+z_3\end{array}\right] \\ ---- \\ a = \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&y_1 - \frac{1}{3} (y_1+y_2+y_3)&z_1 -\frac{1}{3} (z_1+z_2+z_3) \\x_2 - \frac{1}{3} (x_1+x_2+x_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)\\x_3 - \frac{1}{3} (x_1+x_2+x_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)&z_3 -\frac{1}{3} (z_1+z_2+z_3)\end{array}\right] a= x1x2x3y1y2y3z1z2z3 −31 111111111 x1x2x3y1y2y3z1z2z3 −−−−a= x1x2x3y1y2y3z1z2z3 −31 x1+x2+x3x1+x2+x3x1+x2+x3y1+y2+y3y1+y2+y3y1+y2+y3z1+z2+z3z1+z2+z3z1+z2+z3 −−−−a= x1−31(x1+x2+x3)x2−31(x1+x2+x3)x3−31(x1+x2+x3)y1−31(y1+y2+y3)y2−31(y1+y2+y3)y3−31(y1+y2+y3)z1−31(z1+z2+z3)z2−31(z1+z2+z3)z3−31(z1+z2+z3) - 最后求解协方差矩阵P
P = 1 3 ∗ a T ∗ a P = \frac{1}{3} * a^T *a P=31∗aT∗a
a T = [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) z 3 − 1 3 ( z 1 + z 2 + z 3 ) ] a^T = \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&x_2 - \frac{1}{3} (x_1+x_2+x_3)&x_3 - \frac{1}{3} (x_1+x_2+x_3) \\ y_1 - \frac{1}{3} (y_1+y_2+y_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)\\ z_1 - \frac{1}{3} (z_1+z_2+z_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)&z_3 -\frac{1}{3}(z_1+z_2+z_3)\end{array}\right] aT= x1−31(x1+x2+x3)y1−31(y1+y2+y3)z1−31(z1+z2+z3)x2−31(x1+x2+x3)y2−31(y1+y2+y3)z2−31(z1+z2+z3)x3−31(x1+x2+x3)y3−31(y1+y2+y3)z3−31(z1+z2+z3)
P = 1 3 ∗ [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) z 3 − 1 3 ∗ ( z 1 + z 2 + z 3 ) ] ∗ [ x 1 − 1 3 ( x 1 + x 2 + x 3 ) y 1 − 1 3 ( y 1 + y 2 + y 3 ) z 1 − 1 3 ( z 1 + z 2 + z 3 ) x 2 − 1 3 ( x 1 + x 2 + x 3 ) y 2 − 1 3 ( y 1 + y 2 + y 3 ) z 2 − 1 3 ( z 1 + z 2 + z 3 ) x 3 − 1 3 ( x 1 + x 2 + x 3 ) y 3 − 1 3 ( y 1 + y 2 + y 3 ) z 3 − 1 3 ( z 1 + z 2 + z 3 ) ] P = \frac{1}{3} * \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&x_2 - \frac{1}{3} (x_1+x_2+x_3)&x_3 - \frac{1}{3} (x_1+x_2+x_3) \\ y_1 - \frac{1}{3} (y_1+y_2+y_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)\\ z_1 - \frac{1}{3} (z_1+z_2+z_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)&z_3 -\frac{1}{3} *(z_1+z_2+z_3)\end{array}\right] * \left[\begin{array}{ccc}x_1 - \frac{1}{3} (x_1+x_2+x_3)&y_1 - \frac{1}{3} (y_1+y_2+y_3)&z_1 -\frac{1}{3} (z_1+z_2+z_3) \\x_2 - \frac{1}{3} (x_1+x_2+x_3)&y_2 - \frac{1}{3} (y_1+y_2+y_3)&z_2 -\frac{1}{3} (z_1+z_2+z_3)\\x_3 - \frac{1}{3} (x_1+x_2+x_3)&y_3 - \frac{1}{3} (y_1+y_2+y_3)&z_3 -\frac{1}{3} (z_1+z_2+z_3)\end{array}\right] P=31∗ x1−31(x1+x2+x3)y1−31(y1+y2+y3)z1−31(z1+z2+z3)x2−31(x1+x2+x3)y2−31(y1+y2+y3)z2−31(z1+z2+z3)x3−31(x1+x2+x3)y3−31(y1+y2+y3)z3−31∗(z1+z2+z3) ∗ x1−31(x1+x2+x3)x2−31(x1+x2+x3)x3−31(x1+x2+x3)y1−31(y1+y2+y3)y2−31(y1+y2+y3)y3−31(y1+y2+y3)z1−31(z1+z2+z3)z2−31(z1+z2+z3)z3−31(z1+z2+z3)
- 如此运算便可通过矩阵运算求出协方差矩阵