Chapter 4. Asymptotic Theory 渐近理论

MLE 的渐近性质

在满足正则条件的前提下：

  • 相合性：$\widehat { \theta } \stackrel { P } { \rightarrow } \theta _ { 0 }$ ，$\theta_0$ 是真值

  • 渐近正态分布：$\sqrt { n } ( \widehat { \theta } - \theta ) / \widehat { s e } \stackrel { d } { \rightarrow } N ( 0,1 )$

  • 大样本有效性：较好的估计量中，大样本下MLE方差最小

  • 大样本下近似于贝叶斯估计量（参见第3章）

正则条件

  1. 参数可分辨（不同参数给出的分布是不同的）

  2. 分布函数有共同支集

  3. 每一个随机变量独立同分布

  4. 参数空间包含一个开集 $\omega$ ，$\theta_0\in\omega$ ，且是一个内点（不在边界上）

  • 在假设 $1\sim3$ 下，$P { \theta { 0 } } \left( L \left( \theta _ { 0 } | X \right) > L ( \theta | X ) \right) \rightarrow 1$ ，这里的 $L$ 是似然函数

相合性

  • 在正则条件下，假定任取 $x$ ，$f(x|\theta)$ 对 $\theta\in\omega$ 可导，且似然方程对 $x,n$ 有唯一解 $\hat\theta_n$ ，那么 $\hat\theta_n$ 是相合的

  • 如果参数个数与 $n$ 有关，则可能不相合

渐近正态

  • Score Function & Fisher Information

    • Score Function

    Sn(θ)=[log⁡L(θ)]′=∂log⁡p(X1,…,Xn;θ)∂θ=∑i∂log⁡p(Xi;θ)∂θS _ { n } ( \theta ) = [\log L ( \theta )] ^ { \prime } = \frac { \partial \log p \left( X _ { 1 } , \ldots , X _ { n } ; \theta \right) } { \partial \theta } = \sum _ { i } \frac { \partial \log p \left( X _ { i } ; \theta \right) } { \partial \theta }

    • Fisher Information

    I(θ)=Var⁡θ(S(θ)),In(θ)=Var⁡θ(Sn(θ))=nI(θ)I ( \theta ) = \operatorname{Var}_\theta(S(\theta)),\quad I _ { n } ( \theta ) = \operatorname { Var } _ { \theta } \left( S _ { n } ( \theta ) \right)= n I ( \theta )
    I(θ)=−E(∂2log⁡p(X;θ)∂θ2)I ( \theta )=- E \left( \frac { \partial ^ { 2 } \log p ( X ; \theta ) } { \partial \theta ^ { 2 } } \right)

    ​ 可以看到 Fisher information 有两种等价的定义，证明并不复杂，只需用到：

    E(Sn(θ))=0E(S_n(\theta))=0
    I(θ)=Var⁡θ(Sn(θ))=E(Sn(θ)2)−E2(Sn(θ))=E(Sn(θ)2)I(\theta)=\operatorname{Var}_\theta(S_n(\theta))=E(S_n(\theta)^2)-E^2(S_n(\theta))=E(S_n(\theta)^2)
    ∂2∂θ2log⁡f(X;θ)=∂2∂θ2f(X;θ)f(X;θ)−(∂∂θf(X;θ)f(X;θ))2=∂2∂θ2f(X;θ)f(X;θ)−(∂∂θlog⁡f(X;θ))2\begin{align*}\frac { \partial ^ { 2 } } { \partial \theta ^ { 2 } } \log f ( X ; \theta )& = \frac { \frac { \partial ^ { 2 } } { \partial \theta ^ { 2 } } f ( X ; \theta ) } { f ( X ; \theta ) } - \left( \frac { \frac { \partial } { \partial \theta } f ( X ; \theta ) } { f ( X ; \theta ) } \right) ^ { 2 }\\& = \frac { \frac { \partial ^ { 2 } } { \partial \theta ^ { 2 } } f ( X ; \theta ) } { f ( X ; \theta ) } - \left( \frac { \partial } { \partial \theta } \log f ( X ; \theta ) \right) ^ { 2 } \end{align*}

    即可证明：

    E(S(θ)2)=E(∂∂θlog⁡f(X;θ))2=∫∂2∂θ2f(X;θ)f(X;θ)f(X;θ)dθ−E(∂2log⁡p(X;θ)∂θ2)=−E(∂2log⁡p(X;θ)∂θ2)\begin{align*} E(S(\theta)^2)&=E\left( \frac { \partial } { \partial \theta } \log f ( X ; \theta ) \right) ^ { 2 }\\ &=\int\frac { \frac { \partial ^ { 2 } } { \partial \theta ^ { 2 } } f ( X ; \theta ) } { f ( X ; \theta ) } f(X;\theta)\text{d}\theta- E \left( \frac { \partial ^ { 2 } \log p ( X ; \theta ) } { \partial \theta ^ { 2 } } \right)\\ &=- E \left( \frac { \partial ^ { 2 } \log p ( X ; \theta ) } { \partial \theta ^ { 2 } } \right) \end{align*}

  • 对于向量的情况，Fisher Information 是一个矩阵

In(θ)(r,s)=−E(∂2l(θ)∂θr∂θs)I _ { n } ( \theta ) ( r , s ) = - E \left( \frac { \partial ^ { 2 } l ( \theta ) } { \partial \theta _ { r } \partial \theta _ { s } } \right)

  • 渐近正态性

    假定：

    • 参数个数不随 $n$ 变化

    • $p(x;\theta)$ 是 $\theta$ 的光滑函数（任意阶求导）

    • $\frac{\partial }{\partial\theta}$ 和 $\int\text{d}x$ 可交换

    • $X$ 的范围不依赖于参数

    则有：

    n(θ^n−θ)→dN(0,1I(θ))\sqrt { n } \left( \widehat { \theta } _ { n } - \theta \right) \stackrel { d } { \rightarrow } N \left( 0 , \frac { 1 } { I ( \theta ) } \right)
    θ^n=θ+OP(1n)\widehat { \theta } _ { n } = \theta + O _ { P } \left( \frac { 1 } { \sqrt { n } } \right)

  • Slutsky 定理

    若 $X { n } \stackrel { d } { \rightarrow } X, Y { n } \stackrel { P } { \rightarrow } a$ ，则有：

    YnXn→daXYn+Xn→da+X\begin{array} { l } { Y _ { n } X _ { n } \stackrel { d } { \rightarrow } a X } \\ { Y _ { n } + X _ { n } \stackrel { d } { \rightarrow } a + X } \end{array}

  • 多元 Delta 方法

    • 基于泰勒展开式，用近似的方法求随机变量函数的方差

    • $Y { 1 } , \ldots , Y { n }$ 满足$\sqrt { n } \left( Y { n } - \theta \right) \stackrel { d } { \rightarrow } N { p } ( 0 , \Sigma )$

    • 如果向量 $g(\theta)'$ 存在且不为 $0$ ，那么

      n(g(Yn)−g(θ))→dN(0,(∂g(θ)∂θ)TΣ(∂g(θ)∂θ))\sqrt { n } \left( g \left( Y _ { n } \right) - g ( \theta ) \right) \stackrel { d } { \rightarrow } N \left( 0 , \left( \frac { \partial g ( \theta ) } { \partial \theta } \right) ^ { T } \Sigma \left( \frac { \partial g ( \theta ) } { \partial \theta } \right) \right)

  • 证明：

    • 考虑 Score Function

      $S(\hat\theta)=0, S(\theta)=\sum\frac{\partial}{\partial\theta}l(x_i;\theta)$

    • 由相合性，当 $n$ 很大时 $\hat\theta-\theta_0$ 是小量，因此可以对 $S(\hat\theta)$ 展开：

      0=S(θ^)≈S(θ0)+[∂S(θ)∂θ]θ0(θ^−θ0)0=S(\hat\theta)\approx S(\theta_0)+\left[\frac{\partial S(\theta)}{\partial\theta}\right]_{\theta_0}(\hat\theta-\theta_0)

      得到：

      θ^−θ0=−S(θ0)[∂S(θ)∂θ]θ0\hat\theta-\theta_0= -\frac{S(\theta_0)}{\left[\frac{\partial S(\theta)}{\partial\theta}\right]_{\theta_0}}

    • 求出期望和方差：

      Eθ0(S(θ0))=∑Eθ0(∂ln⁡f(xi;θ)∂θ)θ0=∑Eθ0(f(xi;θ)′f(xi;θ))θ0=∑∫(f(xi;θ)′f(xi;θ))θ0f(xi;θ0)dθ0=∑∫f(xi;θ0)′dθ0=ddθ0∫f(xi;θ)dx=0\begin{align*} E_{\theta_0}(S(\theta_0))&=\sum E_{\theta_0}\left(\frac{\partial\ln f(x_i;\theta)}{\partial\theta}\right)_{\theta_0}=\sum E_{\theta_0}\left(\frac{ f(x_i;\theta)'}{f(x_i;\theta)}\right)_{\theta_0}\\ &=\sum\int\left(\frac{ f(x_i;\theta)'}{f(x_i;\theta)}\right)_{\theta_0}f(x_i;\theta_0)\text{d}\theta_0\\ &=\sum\int f(x_i;\theta_0)'\text{d}\theta_0\\ &=\frac{\text{d}}{\text{d}\theta_0}\int f(x_i;\theta)\text{d}x\\ &=0 \end{align*}
    nI(θ)=Var⁡θ0(S(θ0))=nVar⁡θ0(∂ln⁡f(xi;θ)∂θ)θ0≡nVar⁡θ0(ωi(θ0))\begin{align*} nI(\theta)&=\operatorname { Var }_{\theta_0}(S(\theta_0))=n\operatorname { Var }_{\theta_0}\left(\frac{\partial\ln f(x_i;\theta)}{\partial\theta}\right)_{\theta_0}\\&\equiv {n}\operatorname { Var }_{\theta_0}(\omega_i(\theta_0)) \end{align*}

    • 从而可以得出 $S(\theta_0)$ 满足的分布：

      n(1nS(θ0))→dN(0,Var⁡θ0(ωi(θ0)))\sqrt { n } \left( \frac{1}{n}S(\theta_0)\right) \stackrel { d } { \rightarrow } N \left( 0 , \operatorname { Var }_{\theta_0}(\omega_i(\theta_0)) \right)

    • 最后得到 $\hat\theta$ 的分布：

      θ^−θ0=−S(θ0)[∂S(θ)∂θ]θ0→dN(0,nVar⁡θ0(ωi(θ0))[∂S(θ)∂θ]θ02)=N(0,1nI(θ))\hat\theta-\theta_0= -\frac{S(\theta_0)}{\left[\frac{\partial S(\theta)}{\partial\theta}\right]_{\theta_0}} \stackrel { d } { \rightarrow } N \left( 0 , \frac{n\operatorname { Var }_{\theta_0}(\omega_i(\theta_0))}{\left[\frac{\partial S(\theta)}{\partial\theta}\right]^2_{\theta_0}} \right)=N\left(0,\frac{1}{nI(\theta)}\right)

大样本的有效性

在正则条件下，对于MLE $\hat\theta$ 和一个表现良好的估计量 $\tilde{\theta}$：

θ^=θ+1n∑i=1nψ∗(Xi)+oP(n−1/2)\widehat { \theta } = \theta + \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \psi ^ { * } \left( X _ { i } \right) + o _ { P } \left( n ^ { - 1 / 2 } \right)
θ~=θ+1n∑i=1nψ(Xi)+oP(n−1/2)\tilde { \theta } = \theta + \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \psi \left( X _ { i } \right) + o _ { P } \left( n ^ { - 1 / 2 } \right)

可以证明在大样本情况下：

Var⁡(ψ(X))≥Var⁡(ψ∗(X))\operatorname { Var } ( \psi ( X ) ) \geq \operatorname { Var } \left( \psi ^ { * } ( X ) \right)

相对有效性

如果 $\sqrt { n } \left( W { n } - \theta \right) \stackrel { d } { \rightarrow } N \left( 0 , \sigma { W } ^ { 2 } \right) , \sqrt { n } \left( V { n } - \theta \right) \stackrel { d } { \rightarrow } N \left( 0 , \sigma { \mathrm { V } } ^ { 2 } \right)$ ，则渐近的相对有效性 (ARE) 为：

ARE(Vn,Wn)=σW2/σV2A R E \left( V _ { n } , W _ { n } \right) = \sigma _ { W } ^ { 2 } / \sigma _ { V } ^ { 2 }

稳健性

  • MLE只在模型正确的时候有较小的方差，如果模型错误，MLE的方差可能会很糟糕

    • 可以使用非参方法

    • 可以把MLE换成其他更强健的估计量

  • 例：正态分布下的MLE是均值，与中位数相比，$ARE=0.64$ ；若正态分布混入一定概率的柯西分布，则均值的方差发散，中位数的方差变化不大

概率的收敛性

概率不等式

PreviousChapter 3. Decision Theory 统计决策NextChapter 5. Hypothesis Testing 假设检验

Last updated