常见分布函数

常用公式

• 分位数：P{X>xα}=α,P{X≤xα}=1−αP\{X>x_\alpha\}=\alpha, P\{X\le x_\alpha\}=1-\alphaP{X>xα​}=α,P{X≤xα​}=1−α
• $E(X_i)=E(X)=E(\overline{X})=\mu$
• $E(X^2)=E^2(X)+D(X)={\mu }^2+{\sigma }^2$
• $D(\overline{X})=\frac{1}{n}D(X)=\frac{{\sigma }^2}{n}$
• 若$X\sim N(0,{\sigma }^2)$则：$E(X^n)=\{\begin{array}{ll}0,& n=1,3,5\dots \\ {\sigma }^n(n-1)(n-3)\dots 1,& n=2,4,6\dots \end{array}$
• $n$足够大时（$n>45$），$X_{\alpha }\approx n+\sqrt{2n}{Z}_{\alpha },t_{\alpha }(n)\approx Z_{\alpha }$

离散分布

• 二项分布

  $X\sim B(n,p)$则：

  1. $P(X=x)=C_n^x{p}^x(1-p{)}^{n-x}$
  2. $E(X)=np$
  3. $D(X)=np(1-p)$

• 泊松分布

  $X\sim P(\lambda )$则：

  1. $P(X=x)=\frac{{\lambda }^x{e}^{-\lambda }}{x!},x=0,1,2,\dots$
  2. $E(X)=D(X)=\lambda$

连续分布

分布	简介	$E(X)$	$D(X)$
伽马分布 p9	指数分布和卡方分布的推广形式	$\frac{\alpha }{\lambda }$	$\frac{\alpha }{{\lambda }^2}$
卡方分布	标准正态分布的平方和	$n$	$2n$
t分布	$\frac{标准正态}{\sqrt{{\chi }^2(n)/n}}$	\	\
F分布	卡方分布的比	\	\

• 均匀分布

  $X\sim U(a,b)$则：

  1. $E(X)=\frac{a+b}{2}$
  2. $D(X)=\frac{(b-a{)}^2}{12}$

• 泊松分布

  $X\sim P(\lambda )$

  1. $P(X=x)=\frac{{\lambda }^x}{x!}{e}^{-\lambda }x=1,2,3,\dots$
  2. $E(X)=D(X)=\lambda$

• 指数分布

  $X\sim E(\lambda )\sim \Gamma (1,\lambda )$

  1. $f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& x>0\\ 0,& x\le 0\end{array}$
  2. $E(X)=\frac{1}{\lambda }$
  3. $D(X)=\frac{1}{{\lambda }^2}$

• 伽马分布

  $X\sim \Gamma (\alpha ,\lambda )$

  1. $f(x)=\{\begin{array}{ll}\frac{x^{\alpha -1}}{\Gamma (\alpha )}{\lambda }^{\alpha }{e}^{-\lambda x},& x>0\\ 0,& x\le 0\end{array},\alpha >0,\lambda >0$

     其中，$\Gamma (\alpha )={\int }_0^{+\infty }{x}^{\alpha -1}{e}^{-x}dx$

  2. $E(X)=\frac{\alpha }{\lambda },E(X^2)=\frac{\alpha (\alpha +1)}{{\lambda }^2}$

  3. $D(X)=\frac{\alpha }{{\lambda }^2}$

  4. 若$Y\sim \Gamma ({\alpha }^{\prime },\lambda )$则$X+Y\sim \Gamma (\alpha +{\alpha }^{\prime },\lambda )$

  5. $\alpha =1$则伽马分布退化为指数分布

• 卡方分布

  $X_i\sim N(0,1)$则：
  ${\chi }^2=\sum _{i=1}^n{X}_i\sim {\chi }^2(n)$（标准正态分布的和）
  性质、定理：

  1. $E({\chi }^2)=n,D({\chi }^2)=2n$
  2. $X\sim \chi (n_1),Y\sim \chi (n_2)\Rightarrow X+Y\sim {\chi }^2(n_1+n_2)$
  3. $X\sim E(\lambda )\Rightarrow 2\lambda X\sim {\chi }^2(2)$ p10

• t分布

  $X\sim N(0,1),Y\sim {\chi }^2(n)$，则：
  $T=\frac{X}{\sqrt{Y/n}}$（标准正态分布比根号卡方分布）

• F分布

  $X\sim {\chi }^2(m),Y\sim {\chi }^2(n)$则：
  $F=\frac{X/m}{Y/n}\sim F(m,n)$（卡方分布的比）
  性质：

  1. $F\sim F(m,n)\Rightarrow \frac{1}{F}\sim F(n,m)$
  2. $F_{\alpha }(m,n)=\frac{1}{F_{1-\alpha }(n,m)}$

抽样分布定理

• $X\sim N(\mu ,{\sigma }^2)$，则

  1. $\overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$
  2. $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
  3. $\frac{\overline{X}}{\frac{S}{\sqrt{n}}}\sim t(n-1)$
  4. 样本均值和样本方差独立

• $X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$，则

  1. $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}}\sim N(0,1)$
  2. $\frac{S_X^2}{{\sigma }_1^2}/\frac{S_Y^2}{{\sigma }_Y^2}\sim F(m-1,n-1)$

  ${\sigma }_1={\sigma }_2$时，有：

  $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{m}+\frac{1}{n}}}\sim t(m+n-2)$

  其中$S_w^2=\frac{(m-1)S_X^2+(n-1)S_Y^2}{m+n-2}$

参数估计

估计的优良性

• Fisher信息量：$I(\theta )=E[\frac{\partial }{\partial \theta }\ln f(X;\theta ){]}^2$
• 效率：$e(\hat{\theta })=\frac{1}{nI(\theta )D(\hat{\theta })}$

$e(\hat{\theta })=1\Rightarrow \hat{\theta }$为有效估计量（克拉美-逻下界，$D(\hat{\theta })=\frac{1}{nI(\theta )}$）

区间估计

已知总体$X\sim N(\mu ,{\sigma }^2)$，求$1-\alpha$置信区间

1. 已知${\sigma }^2={\sigma }_0^2$，估计$\mu$

$(\overline{X}-\frac{{\sigma }_0}{\sqrt{n}}{Z}_{\alpha /2},\overline{X}+\frac{{\sigma }_0}{\sqrt{n}}{Z}_{\alpha /2})$

2. 总体方差未知，估计$\mu$

$(\overline{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1),\overline{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1))$

3. $\mu$未知，估计${\sigma }^2$

$(\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)})$

方差分析

单因素方差检验

• $H_0:{\mu }_1={\mu }_2=\cdots ={\mu }_k$（不同水平对因素没有显著影响。该因素有k个水平，即k个类别）

• $\text{SSA}=\sum _{i=1}^k{n}_i(\overline{X_i}-\overline{X}{)}^2$（组间误差/组间平方和，每组均值减总均值的平方乘以组数量）

  $\text{SSE}=\sum _{i=1}^k\sum _{j=1}^{n_j}(X_{ij}-\overline{X_i}{)}^2$（组内误差/组内平方和，组内每一个值减该组均值求平方）
  $\text{SST}=\sum _{i=1}^k\sum _{j=1}^{n_j}(X_{ij}-\overline{X}{)}^2$（总平方和）
  $\text{SST}=\text{SSA}+\text{SSE}$
  检验量：$F=\frac{\text{SSA}/(k-1)}{\text{SSE}/(N-k)}\sim F(k-1,N-k)$（N是样本总数）

• 方差分析表

  方差来源	平方和	自由度	样本方差	F值
  组间	$\text{SSA}$	$k-1$	$\text{MSA}=\frac{\text{SSA}}{k-1}$	$F=\frac{\text{MSA}}{\text{MSE}}$
  组内	$\text{SSE}$	$N-k$	$\text{MSE}=\frac{\text{SSE}}{N-k}$
  总和	$\text{SST}$	$N-1$

• $\text{MSE}$组内方差、均方差、均方

多重比较——最小显著差异法（LSD）

用于检验究竟是哪两个水平有显著差异

• $H_0:{\mu }_i={\mu }_j$

• $\text{LSD}=t_{\alpha /2}(n-k)\cdot \sqrt{\text{MSE}\cdot (\frac{1}{n_i}+\frac{1}{n_j})}$（总共$k$个水平，现在检验水平$i$和水平$j$）

  若$|{\overline{x}}_i-{\overline{x}}_j|>\text{LSD}$则拒绝$H_0$

MSE计算方法见方差分析表

一元线性回归

• ${\hat{\beta }}_1=\frac{n\sum _{i=1}^n{x}_i{y}_i-\sum _{i=1}^n{x}_i\sum _{i=1}^n{y}_i}{n\sum _{i=1}^n{x}_i^2-(\sum _{i=1}^n{x}_i{)}^2}=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sum _{i=1}^n(x_i-\overline{x}{)}^2}$

  ${\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}$

• ${\hat{\beta }}_1$的显著性检验

  1. $H_0:{\hat{\beta }}_1=0$（两变量间的线性关系不显著）
  2. 检验统计量$F=\frac{\text{SSR}/1}{\text{SSE}/(n-2)}=\frac{\text{MSR}}{\text{MSE}}$

落入拒绝域$\Rightarrow$线性关系显著

• $\text{SSR}=\sum ({\hat{y}}_i-\overline{y}{)}^2$（回归平方和）

  $\text{SSE}=\sum ({\hat{y}}_i-y_i{)}^2$（残差平方和）
  $\text{SST}=\sum (y_i-\overline{y}{)}^2$（总平方和/离差平方和）

• $R^2=\frac{\text{SSR}}{\text{SST}}=1-\frac{\text{SSE}}{\text{SST}}$（判定系数/拟合优度）

• $s_e=\sqrt{\frac{\text{SSE}}{n-2}}=\sqrt{\text{MSE}}$（估计标准误差，《统计学》p250）

• 相关系数

  1. 公式

     $r=\frac{\sum _{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{\sqrt{\sum _{i=1}^n(X_i-\overline{X}{)}^2\cdot \sum _{i=1}^n(Y_i-\overline{Y}{)}^2}}=\frac{\sum _{i=1}^n{X}_i{Y}_i-n\overline{X}\cdot \overline{Y}}{\sqrt{(\sum _{i=1}^n{X}_i^2-n{\overline{X}}^2)\cdot (\sum _{i=1}^n{Y}_i^2-n{\overline{Y}}^2)}}$

  2. 显著性检验$\Rightarrow$《统计学》p240

     1. $H_0:\rho =0$（总体相关系数为0）
     2. $t=|r|\sqrt{\frac{n-2}{1-r^2}}\sim t(n-2)$

• 回归方程区间估计（统计学 p256）
  $\hat{y}\pm t_{\alpha /2}(n-2)\cdot s_e\cdot \sqrt{\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum _{i=1}^n(x_i-\overline{x}{)}^2}}$

时间序列

• 增长率
  1. 环比：$G_i=\frac{Y_i-Y_{i-1}}{Y_{i-1}}$
  2. 定基：$G_i=\frac{Y_i-Y_0}{Y_0}$
  3. 平均：$\overline{G}=\sqrt{\frac{Y_n}{Y_0}}-1$

平稳序列

• 简单平均

  $F_{t+1}=\frac{1}{t}\sum _{i=1}^t{Y}_i$

• 移动平均

  $F_{t+1}=\overline{Y}=\frac{1}{k}\sum _{i=0}^{k-1}{Y}_{t-i}$

• 指数平滑

  $F_{t+1}=\alpha Y_t+(1-\alpha )F_t,F_1=Y_1$