第 7 章 参数估计

点估计⚓︎

设总体 $X$ 的分布函数为 $F(x; \theta)$，$\theta$ 是待估参数，$X_1, X_2, \dots, X_n$ 是 $X$ 的一个样本。点估计问题就是要构造一个适当的统计量 $\hat{\theta}(X_1, X_2, \dots, X_n)$，用来估计参数 $\theta$。

• 此时称 $\hat{\theta}(X_1, X_2, \dots, X_n)$ 为 $\theta$ 的（点）估计量
• 若用样本值 $x_1, x_2, \dots, x_n$ 代替样本，称 $\hat{\theta}(x_1, x_2, \dots, x_n)$ 为 $\theta$ 的估计值
• 估计量和估计值统称为估计，简记为 $\hat{\theta}$

两种常用的点估计方法：矩法、极大似然法。

矩法⚓︎

当样本容量 $n \rightarrow +\infty$ 时，样本矩依概率收敛于相应的总体矩，即：

其中 $A_k, B_k$ 分别为样本的 $k$ 阶原点矩和 $k$ 阶中心矩，$\mu_k, v_k$ 分别为总体的 $k$ 阶原点矩和 $k$ 阶中心矩。因此，矩法的统计思想是：用样本矩（的函数）作为相应总体矩（同一函数）的估计。

基本步骤如下：

设 $\theta_1, \theta_2, \dots, \theta_m$ 是总体 $X$ 的待估参数，并假定 $X$ 的前 $m(m \ge 1)$ 阶矩存在。

1. 求总体 $X$ 的前 $m$ 阶矩（不妨设为原点矩）$\mu_1, \mu_2, \dots, \mu_m$，一般地，这些矩可以写成待估参数 $\theta_1, \theta_2, \dots, \theta_m$ 的函数形式，记为：

   $$\begin{cases} \mu_1 = E(X) = g_1(\theta_1, \theta_2, \dots, \theta_m), \\ \mu_2 = E(X^2) = g_2(\theta_1, \theta_2, \dots, \theta_m), \\ \dots \\ \mu_m = E(X^m) = g_m(\theta_1, \theta_2, \dots, \theta_m), \\ \end{cases}$$

2. 由上面的方程组，可求出各参数关于前 $m$ 阶矩 $\mu_1, \mu_2, \dots, \mu_m$ 的函数表达式：

   $$\theta_k = h_k(\mu_1, \mu_2, \dots, \mu_m), k = 1, 2, \dots, m$$

3. 根据矩法思想，以 $A_i$ 代替 $\mu_i, i = 1, 2, \dots, m$，即可得各参数的估计量为：

   $$\widehat{\theta_k} = h_k(A_1, A_2, \dots, A_m), k = 1, 2, \dots, m$$

   称 $\widehat{\theta_k}$ 为参数 $\theta_k$ 的矩估计量（$k = 1, 2, \dots, m$）

极大似然法⚓︎

基本思想：设某事件 $A$ 发生的概率依赖于待估参数 $\theta$，如果观察到 $A$ 已发生，那么就使取得事件 $A$ 发生的概率达到最大的 $\theta$ 值作为 $\theta$ 的估计。

设 $X$ 为离散型总体，其概率分布律为 $P(X = x) = p(x; \theta)$，$\theta \in \Theta$ 是未知的待估参数，$\Theta$ 为参数可取值的范围。$X_1, X_2, \dots, X_n$ 是来自总体 $X$ 的样本，并设 $x_1, x_2, \dots, x_n$ 是已经得到的样本值，则样本 $X_1, X_2, \dots, X_n$ 取到样本值 $x_1, x_2, \dots, x_n$ 的概率为：

将其记为似然函数$L(\theta)$：

形式上，$L(\theta)$ 与样本联合分布律 $p(x_1, x_2, \dots, x_n ; \theta)$ 相同，但，

• $L(\theta)$ 是样本值给定时关于 $\theta$ 的函数
• $p(x_1, x_2, \dots, x_n ; \theta)$ 是参数给定时关于样本值的函数

基于上述思想，应选取 $\theta$ 的估计值 $\hat{\theta}$，使得 $L(\theta)$ 取到最大，于是 $\hat{\theta}$ 满足：

由此获得的 $\hat{\theta} = \hat{\theta}(x_1, x_2, \dots, x_n)$ 称为参数 $\theta$ 的极大似然估计值，相应的统计量 $\hat{\theta}(X_1, X_2, \dots, X_n)$ 称为参数 $\theta$ 的极大似然估计量。

设 $X$ 为连续型总体，其密度函数为 $f(x; \theta)$，$\theta \in \Theta$ 是未知的待估参数。$X_1, X_2, \dots, X_n$ 是来自总体 $X$ 的样本，并设 $x_1, x_2, \dots, x_n$ 是已经得到的样本值，此时似然函数为：

形式上，$L(\theta)$ 与样本联合密度函数 $f(x_1, x_2, \dots, x_n ; \theta)$ 相同。

极大似然估计值和极大似然估计量的定义同离散型版本。寻求极大似然估计常用微分法，有：$\dfrac{\text{d}L(\theta)}{\text{d}\theta} \Big|_{\theta = \hat{\theta}} = 0$，称之为似然方程。

为了计算方便，往往对似然函数求对数，记 $l(\theta) = \ln L(\theta)$ 为对数似然函数，此时似然方程等价为：$\dfrac{\text{d}l(\theta)}{\text{d}\theta} \Big|_{\theta = \hat{\theta}} = 0$，称为对数似然方程。

• 乘除式 -> 加减式，计算更加方便！

极大似然估计的不变性：设参数 $\theta$ 的极大似然估计为 $\hat{\theta}$，$\theta^* = g(\theta)$ 是 $\theta$ 的连续函数，则参数 $\theta^*$ 的极大似然估计为 $\widehat{\theta^*} = g(\hat{\theta})$

估计量的评价准则⚓︎

无偏性准则⚓︎

设 $\theta \in \Theta$ 是总体 $X$ 的待估参数，$X_1, X_2, \dots, X_n$ 是来自总体 $X$ 的样本。若估计量 $\hat{\theta} = \hat{\theta}(X_1, X_2, \dots, X_n)$ 的数学期望存在，且满足：$E(\hat{\theta}) = \theta, \theta \in \Theta$，称 $\hat{\theta}$ 是 $\theta$ 的无偏估计量或无偏估计。

• 偏差：$E(\hat{\theta}) - \theta$（$E(\hat{\theta}) \ne \theta$）
• 渐近无偏估计：满足 $\lim\limits_{n \rightarrow +\infty} E(\hat{\theta}) = \theta$，但 $E(\hat{\theta}) \ne \theta$

有效性准则⚓︎

设 $\widehat{\theta_1} = \widehat{\theta_1}(x_1, x_2, \dots, x_n), \widehat{\theta_2} = \widehat{\theta_2}(x_1, x_2, \dots, x_n)$ 都是参数 $\theta$ 的无偏估计，若 $\forall \theta \in \Theta, Var_\theta(\widehat{\theta_1}) \le Var_\theta(\widehat{\theta_2})$，且至少有一个 $\theta \in \Theta$ 使不等号成立，则称 $\widehat{\theta_1}$ 比 $\widehat{\theta_2}$ 有效。

均方误差准则⚓︎

设 $\hat{\theta} = \hat{\theta}(X_1, X_2, \dots, X_n)$ 是总体参数 $\theta$ 的估计量，称 $E[(\hat{\theta} - \theta)^2]$ 是估计量 $\hat{\theta}$ 的均方误差，记为 $Mse(\hat{\theta})$。

• $Mse(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] = Var(\hat{\theta}) + [E(\hat{\theta}) - \theta]^2$
• 设 $\widehat{\theta_1}, \widehat{\theta_2}$ 都是 $\theta$ 的估计量，若 $\forall \theta \in \Theta, Mse(\widehat{\theta_1}) \le Mse(\widehat{\theta_2})$，则称在均方误差准则下，$\widehat{\theta_1}$ 优于 $\widehat{\theta_2}$
• 均方误差准则常用于有偏估计之间，有偏估计与无偏估计之间的比较
• 若 $\hat{\theta}$ 是参数 $\theta$ 的无偏估计量，则 $Mse(\hat{\theta}) = Var(\hat{\theta})$，即均方误差准则在无偏估计之间的比较等价于有效性准则
• 在实际情况下，均方误差准则比无偏性准则更重要，即如果一个估计量虽然有偏，但其均方误差较小，有时比方差较大的无偏估计更有用

相合性准则⚓︎

设 $\widehat{\theta_n} = \hat{\theta}(X_1, X_2, \dots, X_n)$ 是总体参数 $\theta$ 的估计量，若 $\forall\ \varepsilon > 0$，有：$\lim\limits_{n \rightarrow +\infty}P(|\widehat{\theta_n} - \theta| < \varepsilon) = 1$，即 $\widehat{\theta_n}$ 依概率收敛于 $\theta$，称 $\widehat{\theta_n}$ 是 $\theta$ 的相合估计量，并记 $\widehat{\theta_n} \stackrel{P}{\longrightarrow} \theta, n \rightarrow +\infty$。

• 一般地，由矩法求得的参数估计量都满足相合性
• 对于极大似然估计，在总体分布满足一定条件下，求得的估计量也是待估参数的相合估计量

区间估计⚓︎

置信区间⚓︎

设总体为 $X$，$\theta \in \Theta$ 为待估参数，$X_1, X_2, \dots, X_n$ 是来自总体 $X$ 的样本，统计量 $\widehat{\theta_L} = \widehat{\theta_L}(X_1, X_2, \dots, X_n)$ 和 $\widehat{\theta_U} = \widehat{\theta_U}(X_1, X_2, \dots, X_n)$ 满足 $\widehat{\theta_L} < \widehat{\theta_U}$，且对给定 $\alpha \in (0, 1)$ 和任意 $\theta \in \Theta$，有：$P(\widehat{\theta_L} < \theta < \widehat{\theta_U}) \ge 1 - \alpha$，则

• 称随机区间 $(\widehat{\theta_L}, \widehat{\theta_U})$ 是参数 $\theta$ 的置信水平为 $1 - \alpha$ 的置信区间

  • 置信区间是一个随机区间，对某次具体样本观测来说，有时包含 $\theta$，有时不包含 $\theta$，且包含 $\theta$ 的可能性至少为 $1 - \alpha$
  • 在实际应用中，通常取 $\alpha = 0.1$ 或 $0.05$

• $\widehat{\theta_L}, \widehat{\theta_U}$ 分别称为 $\theta$ 的置信水平是 $1 - \alpha$ 的双侧置信下限和双侧置信上限

• 精确度：区间的平均长度 $E(\widehat{\theta_U} - \widehat{\theta_L})$
• 误差限：$\dfrac{1}{2}E(\widehat{\theta_U} - \widehat{\theta_L})$
• 奈曼原则：当样本容量给定时，置信水平和精确度是相互制约的。因此在保证置信水平达到一定的前提下，尽可能提高精确度。
  • 当总体 $X$ 是连续型随机变量时，对于给定置信水平 $1 - \alpha$，应使上面的不等式取等号，即 $P(\widehat{\theta_L} < \theta < \widehat{\theta_U}) = 1 - \alpha$ 的随机区间 $(\widehat{\theta_L}, \widehat{\theta_U})$ 作为置信区间
  • 当总体 $X$ 是离散型随机变量时，则应选择使 $P(\widehat{\theta_L} < \theta < \widehat{\theta_U}) = 1 - \alpha$ 且尽可能接近 $1 - \alpha$ 的随机区间 $(\widehat{\theta_L}, \widehat{\theta_U})$ 作为置信区间

对于给定的 $\alpha \in (0, 1)$，如果统计量 $\widehat{\theta_L}, \widehat{\theta_U}$ 满足：

那么分别称 $\widehat{\theta_L}$ 和 $\widehat{\theta_U}$ 是参数 $\theta$ 的置信水平为 $1 - \alpha$ 的单侧置信下限和单侧置信上限。

• 当总体 $X$ 是连续型随机变量时，应选择 $\widehat{\theta_L}, \widehat{\theta_U}$ 使：$P(\widehat{\theta_L} < \theta) = P(\theta < \widehat{\theta_U}) = 1 - \alpha, \theta \in \Theta$
• 设统计量 $\widehat{\theta_L}, \widehat{\theta_U}$ 分别是参数 $\theta$ 的置信水平为 $1 - \alpha_1, 1 - \alpha_2$ 的单侧置信下限和单侧置信上限，且 $\widehat{\theta_L} < \widehat{\theta_U}$，那么 $(\widehat{\theta_L}, \widehat{\theta_U})$ 是 $\theta$ 置信水平为 $1 - \alpha_1 - \alpha_2$ 的置信区间。

枢轴量法⚓︎

设总体 $X$ 的密度函数（或概率分布律）为 $f(x;\theta)$，其中 $\theta$ 为待估参数，并设 $X_1, X_2, \dots, X_n$ 是来自总体 $X$ 的样本，如果样本和参数 $\theta$ 的函数 $G(X_1, X_2, \dots, X_n; \theta)$ 的分布完全已知，且形式上不依赖于其他未知参数，那么称 $G(X_1, X_2, \dots, X_n; \theta)$ 为枢轴量。

寻找 $\theta$ 的置信区间的步骤：

1. 构造一个分布已知的枢轴量 $G(X_1, X_2, \dots, X_n; \theta)$

2. 当总体 $X$ 是

   • 连续型随机变量时，对给定的置信水平 $1 - \alpha$，根据枢轴量 $G(X_1, X_2, \dots, X_n; \theta)$ 的分布，适当地选择两个常数 $a, b$，使：
   $$P_\theta (a < G(X_1, X_2, \dots, X_n; \theta) < b) = 1 - \alpha$$
   • 离散型随机变量时，对给定的置信水平 $1 - \alpha$，选择常数 $a, b$ 满足：
   $$P_\theta (a < G(X_1, X_2, \dots, X_n; \theta) < b) \ge 1 - \alpha \text{ and be close to } 1- \alpha \text{ as much as possible}$$

3. 假如参数可以从 $G(X_1, X_2, \dots, X_n; \theta)$ 中分离出来，不等式 $a < G(X_1, X_2, \dots, X_n; \theta) < b$ 可以等价地转化为 $\widehat{\theta_L} < \theta < \widehat{\theta_U}$

   • 对于连续型总体：
   $$P(\widehat{\theta_L} < \theta < \widehat{\theta_U}) = 1 - \alpha$$
   • 对于离散型总体：
   $$P(\widehat{\theta_L} < \theta < \widehat{\theta_U}) \ge 1 - \alpha \text{ and be close to } 1 - \alpha \text{ as much as possible}$$

   表明 $(\widehat{\theta_L}, \widehat{\theta_U})$ 是 $\theta$ 的置信水平为 $1 - \alpha$ 的置信区间

正态总体参数的区间估计⚓︎

打 LaTeX 公式太累了，所以下面就直接贴上课本给的表格，公式都是整理好的：

非正态总体参数的区间估计⚓︎

0-1 分布参数的区间估计⚓︎

设总体 $X$ 服从 0-1 分布分布 $B(1, p), X_1, X_2, \dots, X_n$ 是来自总体 $X$ 的样本，当 $n$ 充分大时，由中心极限定理知：

近似服从标准正态分布 $N(0, 1)$，于是有：

等价于：

求一元二次方程，可得参数 $p$ 的置信水平为 $1 - \alpha$ 的近似置信区间为：

其中 $a = n + z_{\alpha / 2}^2, b = -(2n\overline{X} + z_{\alpha / 2}^2), c = n\overline{X}^2$，取 $p(1-p)$ 的估计量为 $\overline{X}(1 - \overline{X})$，得参数 $p$ 的置信水平为 $1 - \alpha$ 的近似置信区间为：

在实际应用中，通常要满足 $n > 30$ 且 $np > 5, n(1-p) > 5$

其他均值分布 $\mu$ 的区间估计⚓︎

设总体 $X$ 的均值为 $\mu$, 方差为 $\sigma^2$，$X_1, X_2, \dots, X_n$ 是来自总体 $X$ 的样本，当 $n$ 充分大时（$n > 50$），由中心极限定理知：

故 $\mu$ 的置信水平为 $1-\alpha$ 的近似置信区间为：$(\overline{X} \pm \dfrac{\sigma}{\sqrt{n}}z_{\alpha / 2})$。如果方差未知，可用估计量 $S^2$ 代替 $\sigma^2$。

评论区