参数估计

Author: Linho1219

杂项/概率论与数理统计速通/7-参数估计.md

@@ -0,0 +1,206 @@
+# 7 参数估计
+
+## 概念
+
+- 参数：总体 $X$ 的未知的数字特征，记为 $\theta$，可以是一个数，也可以是一个向量（若干个数）
+- 参数空间：$\theta$ 的取值范围，记为 $\varTheta$
+- 参数估计
+  - 点估计：构造统计量 $\hat\theta(X_1,\cdots,X_n)$ 来估计 $\theta$。称 $\hat\theta(X_1,\cdots,X_n)$ 为 $\theta$ 的估计量，$\hat\theta(x_1,\cdots,x_n)$ 为 $\theta$ 的估计值。
+  - 区间估计：构造两个统计量 $\underline\theta(X_1,\cdots,X_n)$ 和 $\overline\theta(X_1,\cdots,X_n)$，用 $[\underline\theta,\overline\theta]$ 来估计 $\theta$ 的范围
+
+## 点估计
+
+### 矩估计法
+
+记总体 $k$ 阶原点矩 $\mu_k=E(X^k)$，样本 $k$ 阶原点矩 $A_k=\dfrac1n\sum\limits_{i=1}^nX_i^k$，若未知参数 $\theta=\varphi(\mu_1,\cdots,\mu_m)$，称估计量 $\hat\theta=\varphi(A_1,\cdots,A_m)$ 为矩估计量。
+
+**定理** 设 $(X_1,\cdots,X_n)$ 为取自总体 $X$ 的一个样本，$E(X)=\mu$，$\operatorname {Var}(x)=\sigma^2$，$\mu$ 与 $\sigma$ 均未知。则：$\bar X$ 是未知参数 $\mu$ 的矩估计，$S_n^2$ 是未知参数 $\sigma^2$ 的矩估计。
+
+> [!important]
+>
+> 核心：样本 $k$ 阶原点矩替换总体 $k$ 阶原点矩。
+
+若 $\hat\theta$ 是 $\theta$ 的矩估计量，则 $g(\hat\theta)$ 为 $g(\theta)$ 的矩估计量。
+
+::: example
+
+- 总体 $X\sim P(\lambda)$，$\lambda>0$，$\lambda$ 未知。则 $\hat\lambda_矩=\bar X$
+- 总体 $X\sim E(\lambda)$，$\lambda>0$，$\lambda$ 未知。则 $\hat\lambda_矩=\dfrac1{\bar X}$
+- 总体 $X\sim U(0,\theta)$，$\theta>0$，$\theta$ 未知。则 $\hat\theta_矩=2\bar X$
+- 总体 $X\sim U(-\theta,\theta)$，$\theta>0$，$\theta$ 未知。则
+  - $E(X)=0$ 无法用于估计
+  - $E(X^2)=\operatorname{Var}(x)+[E(X)]^2=\dfrac{(2\theta)^2}{12}+0^2=\dfrac{\theta^2}3$，则 $\theta=\sqrt{3E(X^2)}$，有 $\hat\theta_矩=\sqrt{3A_2}=\sqrt{\dfrac3n\sum\limits_{i=1}^nX_i^2}$
+
+:::
+
+::: example
+
+总体 $X\sim U(\theta_1,\theta_2)$，$\theta_1<\theta_2$，$\theta_1,\theta_2$ 均未知。
+
+---
+
+$$
+\begin{align}
+\begin{cases}
+E(X)=\dfrac{\theta_1+\theta_2}2 \\
+\operatorname{Var}(X)=\dfrac{\theta_2-\theta_1}{12}
+\end{cases}
+&\Rightarrow
+\begin{cases}
+\theta_1=E(X)-\sqrt{3\operatorname{Var(X)}} \\
+\theta_2=E(X)+\sqrt{3\operatorname{Var(X)}}
+\end{cases} \\
+&\Rightarrow
+\begin{cases}
+\hat\theta_1=\bar X-\sqrt{3S_n^2} \\
+\hat\theta_2=\bar X+\sqrt{3S_n^2}
+\end{cases}
+\end{align}
+$$
+
+:::
+
+::: example
+
+设总体 $X$ 的密度函数为
+
+$$
+f(x;\theta)=\begin{cases}
+\dfrac1\theta,& 0<x<\dfrac\theta2 \\
+\dfrac1{2-\theta},& \dfrac\theta2<x<1 \\
+0, & 其他
+\end{cases}
+$$
+
+其中 $0<\theta<2$，$\theta$ 未知。$(X_1,\cdots,X_n)$ 是取自这个总体的样本，球 $\theta$ 的矩估计 $\hat\theta$？
+
+---
+
+$$
+\begin{align}
+E(X)&=\int_{-\infty}^{+\infty}xf(x)\mathrm dx \\
+&=\int_0^{\theta/2}\frac x\theta\mathrm dx+\int_{\theta/2}^1\frac x{2-\theta}\mathrm dx \\
+&=\frac{1+\theta}4 \\
+\Rightarrow \theta&=4E(X)-1 \\
+\Rightarrow \hat\theta&=4\bar X-1 \\
+\end{align}
+$$
+
+:::
+
+### 最大似然估计
+
+设 $(X_1,\cdots,X_n)$ 为取自总体 $X$ 的一个样本，总体 $X$ 的密度函数为 $f(x;\theta)$，其中 $\theta$ 为未知参数，$\varTheta$ 为参数空间，称
+
+$$
+L(\theta;x_1,x_2,\cdots,x_n)=\prod_{i=1}^nf(x_i;\theta),\quad\theta\in\varTheta
+$$
+
+为似然函数。若存在 $\hat\theta=\hat\theta(x_1,\cdots,x_n)$，使得
+
+$$
+L(\hat\theta)=\max_{\theta\in\varTheta}L(\theta)
+$$
+
+则称 $\hat\theta(x_1,\cdots,x_n)$ 为 $\theta$ 的最大似然估计值，称相应的 $\hat\theta(X_1,\cdots,X_n)$ 为 $\theta$ 的最大似然估计量。
+
+求最大似然估计量的常用方法是通过取对数，将连乘转换为求和。即有最大似然方程：
+
+$$
+\frac{\mathrm d}{\mathrm d\theta}\ln L(\theta)=0
+$$
+
+::: example
+
+用最大似然估计 $\mu$ 未知、$\sigma$ 已知的正态分布总体抽样下 $\mu$ 的估计值。
+
+---
+
+$$
+\begin{gathered}
+\begin{align}
+L(\mu)&=\prod_{i=1}^nf(x;\mu) \\
+&=\prod_{i=1}^n\frac1{\sqrt{2\pi}\sigma}\exp\left[{-\frac{(x_i-\mu)^2}{2\sigma^2}} \right] \\
+&= \left(\frac1{\sqrt{2\pi}\sigma} \right)^n\exp\left[-\frac{\sum(x_i-\mu)^2}{2\sigma^2} \right]\\
+\ln L(\mu)&=-\frac n2\ln(2\pi\sigma^2)-\frac{\sum(x_i-\mu)^2}{2\sigma^2} \\
+\frac{\mathrm d\ln L(\mu)}{\mathrm d\mu}&=\frac{2\sum(x_i-\mu)}{2\sigma^2}=0
+\end{align} \\
+\Rightarrow \sum_{i=1}^n(x_i-\mu)=\left(\sum_{i=1}^nx_i \right)-n\mu=0\\
+\Rightarrow\mu=\frac1n\sum_{i=1}^nx_i \Rightarrow\hat\mu_最=\frac1n\sum_{i=1}^nX_i=\bar X
+\end{gathered}
+$$
+
+:::
+
+::: example
+
+用最大似然估计 $\mu$ 已知、$\sigma$ 未知的正态分布总体抽样下 $\sigma^2$ 的估计值。
+
+---
+
+$$
+\begin{gathered}
+\begin{align}
+L(\sigma^2)&=\prod_{i=1}^nf(x;\sigma^2) \\
+&=\prod_{i=1}^n\frac1{\sqrt{2\pi}\sigma}\exp\left[{-\frac{(x_i-\mu)^2}{2\sigma^2}} \right] \\
+&=\left(\frac1{\sqrt{2\pi}\sigma} \right)^n\exp\left[-\frac{\sum(x_i-\mu)^2}{2\sigma^2} \right]\\
+\ln L(\sigma^2)&=-\frac n2\ln(2\pi)-\frac n2\ln\sigma^2-\frac{\sum(x_i-\mu)^2}{2\sigma^2} \\
+\frac{\mathrm d\ln L(\sigma^2)}{\mathrm d(\sigma^2)}&= -\frac n2\cdot\frac1{\sigma^2}+\frac{\sum(x_i-\mu)^2}{2\sigma^4}=0
+\end{align} \\
+\Rightarrow \frac n2\cdot\frac1{\sigma^2} = \frac{\sum(x_i-\mu)^2}{2\sigma^4}
+\Rightarrow n = \frac{\sum(x_i-\mu)^2}{\sigma^2} \\
+\Rightarrow \sigma^2 = \frac1n{\sum_{i=1}^n(x_i-\mu)^2} \\
+\Rightarrow \hat\sigma_最^2 =\frac1n\sum_{i=1}^n(X_i-\bar X)^2= S_n^2 \\
+\end{gathered}
+$$
+
+:::
+
+::: example
+
+设总体 $X\sim U(0,\theta)$，$\theta>0$，$\theta$ 未知。求 $\theta$ 的最大似然估计量 $\hat\theta$。
+
+---
+
+最大似然函数
+
+$$
+L(\theta)=\begin{cases}
+\displaystyle\prod_{i=1}^nf(x,\theta)=\left(\frac1\theta \right)^n=\theta^{-n},& 0\le x_1,\cdots,x_n\le \theta \\
+0,&其他
+\end{cases}
+$$
+
+考虑 $0\le x_1,\cdots,x_n\le \theta$ 时
+
+$$
+\begin{align}
+\frac{\mathrm d}{\mathrm d\theta}\ln L(\theta)=-n\frac{\mathrm d}{\mathrm d\theta}\ln\theta=-\frac n\theta=0
+\end{align}
+$$
+
+无解。考虑回归定义：
+
+$$
+L(\hat\theta)=\max_{\theta\in\varTheta}L(\theta)=\max_{\theta>0}\theta^{-n}
+$$
+
+注意到 $\theta=\max\{x\}$ 时有 $\max L(\theta)$，因此有 $\hat\theta=X_{(n)}$
+
+:::
+
+上例子说明
+
+- 不同估计手段得到的估计量不一定相同
+- 对数解不了的情况下考虑回归定义。
+
+推广，若有多维参数，寻找 $\hat\theta_1,\cdots,\hat\theta_k$ 要求解似然方程组
+
+$$
+\left\{\begin{align}
+&\frac\partial {\partial \theta_1}\ln L(\theta_1,\cdots,\theta_k)=0\\
+&\frac\partial {\partial \theta_2}\ln L(\theta_1,\cdots,\theta_k)=0\\
+&\cdots\cdots \\
+&\frac\partial {\partial \theta_k}\ln L(\theta_1,\cdots,\theta_k)=0\\
+\end{align}\right.
+$$