概率论与数理统计(八)

参数估计

通过取样本，并用样本构造函数，达成估计分布函数参数的目的

矩估计法

本质：用样本的各阶矩代替总体的各阶矩，即取：

$$\begin{gathered} E(X)=\overline{X}=\frac{1}{n}\sum _i{X}_i \\ E(X^2)=\frac{1}{n}\sum _i{X}_i^2 \end{gathered}$$

极大似然估计法

本质：将使得样本 $A$ 发生概率最大的参数值作为估计值

1、写出总体概率/密度函数

2、构造似然函数 $L(\lambda )$

3、两边取 $\ln$

4、对 $\lambda$ 求导

点估计的优良性准则

一、无偏性：$E(\hat{\theta })=\theta$

定理：总体为 $X$，且 $E(X)=\mu$，$D(X)={\sigma }^2$，样本为 $(X_1,\cdots ,X_n)$，那么有：

1、$\overline{X}$ 是 $\mu$ 的无偏估计

2、样本方差 $S^2$ 是 ${\sigma }^2$ 的无偏估计

3、取 $\hat{\mu }=C_1{X}_1+\cdots +C_n{X}_n$，若 $C_1+\cdots +C_n=1$，则 $\hat{\mu }$ 是 $\mu$ 的无偏估计

证明：

1 与 2：

已经在 上一份笔记 中证明过 $E(\overline{X})=\mu$ 和 $E(S^2)={\sigma }^2$

3：

$$\begin{array}{rl}E(\hat{\mu })& =E(C_1{X}_1+\cdots +C_n{X}_n)\\ & =E(C_1{X}_1)+\cdots +E(C_n{X}_n)\\ & =C_{1}E(X_1)+\cdots +C_{n}E(X_n)\\ & =(C_1+\cdots +C_n)\mu \\ & =\mu \end{array}$$

！注意：$\hat{\theta }$ 是 $\theta$ 的无偏估计，但是 $g(\hat{\theta })$ 不一定是 $g(\theta )$ 的无偏估计
例如：$S^2$ 是 ${\sigma }^2$ 的无偏估计，而 $S$ 不是 $\sigma$ 的无偏估计(性质)
该性质的证明：
$$\begin{array}{rl}& D(S)=E(S^2)-E(S{)}^2\\ & ={\sigma }^2-E(S{)}^2\\ & \Rightarrow E(S)=\sqrt{{\sigma }^2-D(S)}⩽\sigma \end{array}$$

二、有效性：$D(\widehat{{\theta }_1})⩽D(\widehat{{\theta }_2})$

定理：总体为 $X$，且 $E(X)=\mu$，$D(X)={\sigma }^2$，样本为 $(X_1,\cdots ,X_n)$，若 $a_1+\cdots +a_n=1$，则现有两种 $\mu$ 的估计：$a_1{X}_1+\cdots +a_n{X}_n$ 与 $\overline{X}$，由有效性准则认为，$\overline{X}$ 更优

证明：

由 上一份笔记 知 $D(\overline{X})=\frac{{\sigma }^2}{n}$

那么有：

$$\begin{array}{rl}D(\hat{\theta })& =D(a_1{X}_1+\cdots +a_n{X}_n)\\ & =a_1^{2}D(X_1)+\cdots +a_n^{2}D(X_n)\\ & ={\sigma }^2(a_1^2+\cdots +a_n^2)\\ & ⩾\frac{{\sigma }^2}{n}\end{array}$$

三、相合性(一致性)：$\underset{n\to +\infty }{\lim }P(|\hat{\theta }-\theta |<\epsilon )=1$

置信区间

区间估计时，区间长度 和 落在区间的概率 十分重要

若 $P({\theta }_1⩽\theta ⩽{\theta }_2)=1-\alpha$，则 $1-\alpha$ 称为 置信度，而 $[{\theta }_1,{\theta }_2]$ 则是估计区间

定义：

1、$I=I(T,\theta )$，其中 $\theta$ 是未知参数，$T$ 是已知的，随机变量 $I$ 的分布 $F$ 已知且其分布与 $\theta$ 无关，则将 $I$ 称为 枢轴变量

2、给定 $1-\alpha$，确定 $F$ 的上 $\frac{\alpha }{2}$ 分位数为 $v_{\frac{\alpha }{2}}$，上 $1-\frac{\alpha }{2}$ 为 $v_{1-\frac{\alpha }{2}}$，则：

$$P\left(v_{\frac{\alpha }{2}}⩽I(T,\theta )⩽v_{1-\frac{\alpha }{2}}\right)=1-\alpha$$

一个正态总体的均值和方差的区间估计

设 $v=\frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }\sim N(0,1)$

给定 $1-\alpha$，令 $P(v>u_{\frac{\alpha }{2}})=\frac{\alpha }{2}$

1、${\sigma }^2$ 已知，对 $\mu$ 的区间估计：

$$\begin{array}{rl}& P\left(-u_{\frac{\alpha }{2}}⩽\frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }⩽u_{\frac{\alpha }{2}}\right)=1-\alpha \\ & P\left(-\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}⩽\overline{X}-\mu ⩽\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}\right)=1-\alpha \\ & P\left(\overline{X}-\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}⩽\mu ⩽\overline{X}+\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}\right)=1-\alpha \end{array}$$

也就是说，有 $1-\alpha$ 的把握，认为 $\mu$ 在区间 $\left[\overline{X}-\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}},\overline{X}+\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}\right]$ 中

2、${\sigma }^2$ 未知，对 $\mu$ 的区间估计：

构造枢轴变量：$T=\frac{\sqrt{n}(\overline{X}-\mu )}{S}\sim t(n-1)$

$$\begin{array}{rl}& P\left(-t_{\frac{\alpha }{2}}(n-1)⩽\frac{\sqrt{n}(\overline{X}-\mu }{S}⩽t_{\frac{\alpha }{2}}(n-1)\right)=1-\alpha \\ & \Rightarrow P\left(\overline{X}-\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)⩽\mu ⩽\overline{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)\right)=1-\alpha \end{array}$$

也就是说，有 $1-\alpha$ 的把握，认为 $\mu$ 在区间 $\left[\overline{X}-\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1),\overline{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)\right]$ 中

3、$\mu$ 已知，对 ${\sigma }^2$ 的区间估计：

构造枢轴变量：${\chi }^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$，给定 $1-\alpha$、${\chi }_{1-\frac{\alpha }{2}}^2(n)$ 及 ${\chi }_{\frac{\alpha }{2}}^2(n)$

注意：之所以不继续使用正态分布的枢轴变量，是因为 $\sigma$ 在开平方后不是无偏估计

$$\begin{array}{rl}& P\left({\chi }_{1-\frac{\alpha }{2}}^2(n)⩽\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2⩽{\chi }_{\frac{\alpha }{2}}^2(n)\right)=1-\alpha \\ & \Rightarrow \frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)}⩽{\sigma }^2⩽\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n)}\end{array}$$

也就是说，有 $1-\alpha$ 的把握，认为 ${\sigma }^2$ 在区间 $\left[\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)},\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n)}\right]$ 中

4、$\mu$ 未知，对 ${\sigma }^2$ 的区间估计：

构造枢轴变量：${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$，给定 $1-\alpha$、${\chi }_{1-\frac{\alpha }{2}}^2(n-1)$ 及 ${\chi }_{\frac{\alpha }{2}}^2(n-1)$

$$\begin{array}{rl}& P\left({\chi }_{1-\frac{\alpha }{2}}^2(n-1)⩽\frac{(n-1)S^2}{{\sigma }^2}⩽{\chi }_{\frac{\alpha }{2}}^2(n-1)\right)=1-\alpha \\ & \Rightarrow P\left(\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)}⩽{\sigma }^2⩽\frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}\right)=1-\alpha \end{array}$$

也就是说，有 $1-\alpha$ 的把握，认为 ${\sigma }^2$ 在区间 $\left[\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}\right]$ 中