参数估计学习笔记通俗易懂版（包括点估计和区间估计（区间估包括总体均值的置信区间（总体标准差未知、总体标准差已知）和总体方差的置信区间））

1. 参数估计的基本概念

在统计推断中，我们往往希望利用从总体中抽取的有限样本来推断总体的特性，这一过程称为参数估计。总体参数（例如均值、方差、比例等）往往是未知的，通过样本数据，我们可以得到对这些参数的估计。

参数估计主要有两种形式：

• 点估计（Point Estimation）
  用一个具体数值作为总体参数的估计值。例如，用样本均值$ \bar{x}$来估计总体均值 $\mu$；用样本方差 $s^2$来估计总体方差 ${\sigma }^2$等。点估计直观、计算简单，但只能给出一个估计值，无法反映估计的不确定性。
• 区间估计（Interval Estimation）
  在点估计的基础上，结合抽样误差给出一个可能包含总体参数的区间，同时给出一个“置信水平”，表明在重复抽样中，有多大比例的置信区间会包含总体参数。常见的区间估计即置信区间，例如“95%置信区间”表示在无限次重复抽样中，约95%的区间会包含总体参数的真实值

2. 点估计

2.2定义与特点

点估计就是选择一个样本统计量作为总体参数的近似值。例如：

• 用样本均值$\bar{x}$估计总体均值$\mu$；
• 用样本比例$ \hat{p} = \frac{x}{n}$估计\ast \ast 总体比例\ast \ast$p$；
• 用样本方差 $s^2$估计总体方差 ${\sigma }^2$。

这种方法优点在于计算方便、直观；但缺点在于不能反映估计的不确定性，即只提供一个“最佳猜测”，而没有关于误差大小的信息。

2.3常见方法

常用的点估计方法有：

• 矩估计法：利用样本矩（如均值、方差等）与总体矩之间的关系求解参数。
• 极大似然估计（MLE）：选取使样本数据似然函数取最大值的参数值。
• 最小二乘估计：在回归分析中常用，通过最小化观测值与预测值之间的平方差来确定参数。

这些方法都有各自的优缺点，在具体应用时通常需要考虑样本量、总体分布假设等因素。

2.4点估计的应用

示例 1：总体均值的点估计
假设从某总体中随机抽取 $n$个样本，记为 $x_1,x_2,\dots ,x_n$；

• 方法： 用样本均值
  $$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
  作为总体均值 $\mu$ 的点估计。

• 说明： 这种方法简单直观，但只提供了一个“最佳猜测”，没有反映出估计的误差范围。

示例 2：总体比例的点估计
对于二项分布问题，比如我们观察到 $n$次试验中有$x$次成功，

• 方法： 点估计量为
  $$\hat{p}=\frac{x}{n}$$

• 用以估计总体成功概率 $p$。

• 说明：

  此方法在大样本时效果较好，且为无偏估计。

3. 区间估计

3.1概念及意义

由于点估计忽略了抽样波动性，为了更全面地反映参数估计的可靠性，我们引入区间估计。区间估计不仅给出一个中心点，还给出了一个上下界，使得该区间在一定的置信水平下包含真实参数值。例如，当我们计算出某总体均值的95%置信区间为 $[a,b]$时，可以理解为在相同抽样条件下重复实验，约有95%的构造出的区间会包含总体均值。

3.2构造步骤

以总体均值为例，构造置信区间通常包括以下步骤：

1. 确定样本统计量及其抽样分布
   若总体服从正态分布，则样本均值 $\bar{x}$的抽样分布为正态分布；当总体方差未知且样本量较小时，则服从 $t$分布。

2. 确定置信水平
   例如设定置信水平为 95%，对应的显著性水平$\alpha =0.05$。

3. 查找临界值
   当总体方差已知时，根据标准正态分布查找 $z_{\alpha /2}$；若未知，则根据$t$分布查找 $t_{n-1;\alpha /2}$。

4. 构造区间（后续有具体方法和题解示例，在本节3.4）

   • 总体均值（已知总体方差）的双侧置信区间：
     $$\left(\bar{x}-z_{\alpha /2}\frac{\sigma }{\sqrt{n}},\bar{x}+z_{\alpha /2}\frac{\sigma }{\sqrt{n}}\right)$$

   • 总体均值（未知总体方差）的双侧置信区间：
     $$\left(\bar{x}-t_{n-1;\alpha /2}\frac{s}{\sqrt{n}},\bar{x}+t_{n-1;\alpha /2}\frac{s}{\sqrt{n}}\right)$$

其中 $s$ 为样本标准差，$n$为样本容量。

3.3应用实例

• 正态分布总体均值的区间估计
  当总体标准差已知时，利用 $z$分布构造区间；若未知且样本量较小时，则利用 $t$分布构造区间。
• 比例参数的区间估计
  对于二项分布问题，如估计某事件的发生概率 $p$，可以利用克洛珀-皮尔逊方法或正态近似构造置信区间。

区间估计不仅可以反映估计的不确定性，还能用于假设检验，当某个假设值不在构造的置信区间内时，就可以拒绝相应的原假设。

3.4区间估计题解

区间估计的目的是在点估计的基础上给出一个可信的范围，使得该区间在一定的置信水平下包含真实参数值。

示例 1：总体均值的置信区间（总体标准差已知）
【题目】设总体服从正态分布，已知总体标准差 $\sigma =10$；从中抽取样本容量 $n=36$，样本均值$\bar{x}=50$。求该总体均值的95%置信区间。

【解题步骤】

1. 因为总体标准差已知，且总体服从正态分布，样本均值的分布为
   $$\bar{x}\sim N(\mu ,\frac{{\sigma }^2}{n})$$

2. 95%置信水平对应的临界值为 $z_{0.025}\approx 1.96$。

3. 构造置信区间公式：
   $$\bar{x}\pm z_{0.025}\frac{\sigma }{\sqrt{n}}=50\pm 1.96\frac{10}{6}$$

4. 计算得：
   $$1.96\frac{10}{6}\approx 3.27$$
   因此总体均值的95%置信区间约为$[50-3.27,50+3.27]=[46.73,53.27]$。

示例 4：总体均值的置信区间（总体标准差未知）

适用情境： 当需要估计总体均值的范围，且总体标准差未知时，构造总体均值的置信区间。

方法： 使用样本标准差$s$代替总体标准差 $\sigma$，并根据样本容量的大小选择适当的分布：

• 大样本（一般认为 $n\ge 30$）： 由于大数定律，样本均值近似服从正态分布，可使用标准正态分布构造置信区间。
• 小样本（$n<30n$）： 样本均值服从 $t$分布，需使用 $t$分布构造置信区间。

公式：

• 大样本：
  $$\bar{X}\pm Z_{\alpha /2}\times \frac{s}{\sqrt{n}}$$
  其中，$Z_{\alpha /2}$为标准正态分布的临界值。

• 小样本：
  $$\bar{X}\pm t_{\alpha /2,n-1}\times \frac{s}{\sqrt{n}}$$
  其中，$t_{\alpha /2,n-1}$ 为自由度为$n-1$的$t$分布的临界值。

示例：

【题目1】假设从某总体中抽取了 16 个样本，样本均值为 50，样本标准差为 8，要求总体均值的 95% 置信区间。

【解答步骤】

1. 由于样本容量小于 30，使用$t$分布。

2. 计算自由度：$n-1=15$。

3. 查找$t$分布临界值：在自由度为 15 下，$t_{0.025,15}\approx 2.131$。

4. 计算置信区间：

   $50\pm 2.131\times \frac{8}{\sqrt{16}}=50\pm 4.262$

   即 $(45.738,54.262)$。

因此，总体均值的 95% 置信区间为 $(45.738,54.262)$。

【题目2】设某总体服从正态分布，但总体标准差未知；从中抽取样本 $n=25$，得到样本均值 $\bar{x}=100$ 和样本标准差 $s=15$。求总体均值的95%置信区间。

【解题步骤】

1. 当总体标准差未知时，样本均值的抽样分布服从 $t$分布，自由度为 $n-1=24n$。

2. 95%置信水平下，查$t$分布临界值得$t_{24,0.025}\approx 2.064$。

3. 构造置信区间公式：
   $$\bar{x}\pm t_{24,0.025}\frac{s}{\sqrt{n}}=100\pm 2.064\frac{15}{5}$$

4. 计算得：
   $$2.064\times \frac{15}{5}=2.064\times 3=6.192$$
   因此总体均值的95%置信区间约为

   $[100-6.19,100+6.19]=[93.81,106.19]$

示例 5：总体方差的置信区间

适用情境： 当需要估计总体方差（或标准差）的范围时，构造总体方差的置信区间。

方法： 假设总体服从正态分布，使用样本方差 $s^2$ 作为总体方差 ${\sigma }^2$ 的估计量。根据统计理论，统计量$\frac{(n-1)s^2}{{\sigma }^2}$ 服从自由度为$n-1$的卡方分布。由此，可构造总体方差的置信区间。

公式：
$$\left(\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2},\frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2}\right)$$

其中，${\chi }_{\alpha /2}^2$ 和 ${\chi }_{1-\alpha /2}^2$分别为卡方分布在置信水平两端的临界值。

示例：

【题目1】假设从正态总体中抽取了 25 个样本，样本方差为 20，要求总体方差的 95% 置信区间。

【截图步骤】

1. 计算自由度：$n-1=24$。

2. 查找卡方分布临界值：在自由度为 24 下，${\chi }_{0.025}^2\approx 39.36,{\chi }_{0.975}^2\approx 12.40$

3. 计算置信区间：
   $$\left(\frac{24\times 20}{39.36},\frac{24\times 20}{12.40}\right)\approx (12.21,38.71)$$

因此，总体方差的 95% 置信区间为 $(12.21,38.71)$。

【题目2】设总体服从正态分布，从中抽取样本$n$个，计算得到样本方差 $s^2$。求总体方差 ${\sigma }^2$ 的$(1-\alpha )$置信区间。

【解题步骤】

1. 由于 $(n-1)s^2/{\sigma }^2$服从卡方分布，自由度为 $n-1$。

2. 查表得 ${\chi }^2$分布的上下临界值分别为${\chi }_{\alpha /2}^2(n-1)$和 ${\chi }_{1-\alpha /2}^2(n-1)$。

3. 则总体方差的置信区间为：
   $$\left[\frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2(n-1)},\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2(n-1)}\right]$$

   这个公式给出了一个关于 ${\sigma }^2$的区间估计。

总体方差的置信区间： 用于估计总体方差的范围，需假设总体服从正态分布，使用卡方分布构造置信区间。

总体标准差未知时总体均值的置信区间： 用于估计总体均值的范围，使用样本标准差代替总体标准差，根据样本容量选择使用标准正态分布或 t 分布构造置信区间。

4. 贝叶斯估计中的区间估计

除了传统的频率学派方法外，贝叶斯统计也提供了一种区间估计方法，称为可信区间（Credible Interval）。

• 贝叶斯可信区间：通过结合先验分布与样本数据得到后验分布，然后从后验分布中提取某一概率质量的区间。例如，在给定数据后，若后验分布的某个区间覆盖了参数 $\theta$的 95% 的概率，那么这个区间即为95%的可信区间。

  这种方法与频率学派的置信区间概念不同，其含义是给定数据后参数落在该区间内的概率。

5. 总结

• 点估计：提供了一个具体的参数估计值，例如利用样本均值、样本比例或样本方差进行估计，适用于对参数进行简单描述，计算简单但无法反映估计的不确定性。
• 区间估计：在点估计的基础上给出一个包含总体参数的区间（加上误差范围），以置信区间的形式说明估计的可靠性（说明该区间的置信水平），能更全面地反映参数估计的可靠性，常见应用包括总体均值和总体方差的置信区间构造、总体比例的区间估计等。

通过点估计和区间估计，我们不仅能得到总体参数的一个最佳猜测，还能定量描述由于抽样带来的不确定性，为决策和进一步分析提供依据。