[Econ] Generalized Method of Moments

1. Method of Moments Estimators

\(I \times 1\) 의 관측치와 $k$개의 파라미터 $\beta$로 이루어진 $g_i(\beta)$ 에 대해 moment equation model은 \(E[g_i(\beta)]=0\) 를 만족한다.

예를들어 instrumental variables model \(g_i(\beta) = z_i(y_i-x'_i\beta)\) 가 된다.

단, MME는 Just-identified case $(I=k)$ 에서 만족하며 이는 \(\bar{g}_n(\beta) = \frac{1}{n}\Sigma_{i=1}^n g_i(\beta)=0\) 을 만족하는 method of moments estimator(MME) \(\hat{\beta}_{mm}\) 을 찾을 수 있다.

2. Generalized Method of Meoments(GMM)

모델이 overidentified $(I>k)$ 인경우 \(\bar{g}_n=0\) 을 만족하는 MME를 사용하기 어렵다. 그러므로 \(\bar{g}_n\) 이 0에 가깝게 하도록 하는 GMM Estimator를 사용한다.

이때는 $I\times I$ weight matrix $W_n>0$ 을 사용해, \(J_n(\beta) = n\bar{g}_n(\beta)'W_n\bar{g}_n(\beta)\) 이 최소화 되는 \(\hat{\beta}\) 을 구한다.

즉, \(\hat{\beta}_{GMM} = argmin_\beta J_n(\beta)\) 가 된다.

first order conditions에 따라 GMM estimator를 구하면

\[\begin{aligned} 0 &=\frac{\partial}{\partial \beta}J_n(\hat{\beta}_{GMM})\\ &=2\frac{\partial}{\partial \beta}\bar{g}_n(\hat{\beta}_{GMM})'W_n\bar{g}_n(\hat{\beta}_{GMM})\\ &=-2(\frac{1}{2}X'Z)W_n[\frac{1}{n}Z'(y-X\hat{\beta}_{GMM})] \end{aligned}\] \[\therefore 2(X'Z)W_n(Z'X)\hat{\beta}_{GMM} = 2(X'Z)W_n(Z'y)\] \[\hat{\beta}_{GMM} = [(X'Z)W_n(Z'X)]^{-1}(X'Z)W_n(Z'y)\]

3. Distribution of GMM Estimator

\(W_n \rightarrow_p W>0\) 일때, \(Q=E(z_ix_i'),\Omega=E(z_iz_i'e^2_i)=E(g_ig_i')\) 을 만족한다면

\[(\frac{1}{n}X'Z)W_n(\frac{1}{n}Z'X)\rightarrow_p Q'WQ,\\ (\frac{1}{n}X'Z)W_n(\frac{1}{\sqrt{n}}Z'e) \rightarrow_d Q'W \cdot{} N(0,\Omega)\]

(\(\because \frac{1}{n}X'Z \rightarrow_p Q',\frac{1}{\sqrt{n}}Z'e \rightarrow_p N(0,E(zez'e'))=N(0,E(zz'e^2))=N(0,\Omega)\) by CLT)

이에 따라 GMM Estimator의 Asymptotic Distribution은

\(\sqrt{n}(\hat{\beta}_{GMM}-\beta)\rightarrow_d N(0,V_\beta)\) (단, \(V_\beta = (Q'WQ)^{-1}(Q'W\Omega WQ)(Q'WQ)^{-1}\))

그리고 최적 weight matrix $W_0$는

• $V_\beta$ 를 minimize한 \(W_0 = \Omega^{-1}\)
• GMM Estimator는 \(\hat{\beta}_{GMM} = (X'Z\Omega^{-1}Z'X)^{-1}X'Z\Omega^{-1}Z'y\)
• Efficient GMM Estimator의 Asymptotic Distribution은 \(\sqrt{n}(\hat{\beta}_{GMM}-\beta)\rightarrow_d N(0,(Q'\Omega^{-1}Q)^{-1}\)

4. Estimation of the Efficient Weight Matrix

최적의 $W_0$를 찾는 방법은 보통 2-step으로 이루어진다.

첫번째, \(W_n = (Z'Z)^{-1}\) 로 두고, 이에 따른 \(\hat{\beta},\hat{e}_i = y_i-x_i'\hat{\beta}\) 와, \(\hat{g}_i=z_i\hat{e}_i\) 를 계산한다.

두번째로 \(\bar{g}_n(\hat{\beta})=\frac{1}{n}\Sigma_{i=1}^n\hat{g}_i\) 와 \(\hat{g}_i^*=\hat{g}_i-\bar{g}_n\) 을 계산한다.

마지막으로 \(W_n=(\frac{1}{n}\Sigma_{i=1}^n\hat{g}_i^*\hat{g}_i^{*'})^{-1}=(\frac{1}{n}\Sigma_{i=1}^n\hat{g}_i\hat{g}_i^{'}-\bar{g}_n\bar{g}_n')^{-1}\) 을 계산하면

\[\begin{aligned} \hat{\beta}_{GMM} &= [(X'Z)(\hat{g}'\hat{g}-n\bar{g}_n\bar{g}_n')^{-1}(Z'X)]^{-1}(X'Z)(\hat{g}'\hat{g}-n\bar{g}_n\bar{g}_n')^{-1}(Z'y)\\ \hat{V}_{GMM} &= [(X'Z)(\hat{g}'\hat{g}-n\bar{g}_n\bar{g}_n')(Z'X)]^{-1}\\ &=(\hat{G}\hat{\Omega}^{-1}\hat{G})^{-1} \end{aligned}\]

(단,\(\hat{\Omega} = (\frac{1}{n}\Sigma_{i=1}^n\hat{g}_i^*\hat{g}_i^{*'}), \hat{G}=\frac{1}{n}\Sigma_{i=1}^n\frac{\partial}{\partial \beta'}g_i(\hat{\beta}_{GMM})\) )

또한 제약식은 \(J_n(\beta) = n\cdot{}\bar{g}_n(\beta)'W_n\bar{g}_n(\beta)\) 와 같고,

$\hat{\beta}_{GMM}$ 은 consitency를 만족하게 된다. \(\sqrt{n}(\hat{\beta}_{GMM}-\beta)\rightarrow_d N(0,(G'\Omega^{-1}G)^{-1})\) (단, \(\Omega = E(g_ig_i'),G=E[\frac{\partial}{\partial\beta'}g_i(\beta)]\) )

5. Over-Identification Test

Over-Identification case에서 가설검증은 다음 두가지 가설에 대해 시행한다.

\[H_0: E[g(y_i,x_i,z_i,\beta)]=0\] \[H_1:E[g(y_i,x_i,z_i,\beta)] \ne 0\]

그리고 이에 대한 제약식 \(J_n(\beta)=n\cdot{}\bar{g}_n(\beta)'W_n\bar{g}_n(\beta)=n^2\bar{g}_n(\beta)'(\hat{g}\hat{g}'-n\bar{g}_n\bar{g}_n')^{-1}\bar{g}_n(\beta)\) 을
추정한 \(\hat{\beta}_{GMM}\) 값을 넣어 J statistic을 구한다.

그리고 J statistic은 카이제곱 분포를 따르므로 이에 대한 검증을 시행한다.

\[J_n(\hat{\beta})\rightarrow_d x_{I-k}^2\]

6. Bootstrap GMM Inference

GMM estimation의 문제는 해당 값이 모집단으로 부터 추정된 값이기 때문에 여전히 \(\bar{g}_n(\hat{\beta}_{GMM})\ne 0\) 가 된다. 그러므로 bootstrap을 통해서 모집단의 모수를 추정할 필요가 있다.

1. 확률변수 \((y_i^*,z_i^*,x_i^*)\) 에 대한 EDF \(E^*[g_i(\hat{\beta}_{GMM})]=\bar{g}_n(\hat{\beta}_{GMM})\ne0\) 에 대한 bootstrap을 시행
2. 이를 통해 구한 \(\bar{g}_n^*(\beta)=\frac{1}{n}\Sigma_{i=1}^ng_i^*(\beta)\)와 \(J^{**}_n(\beta)=n\cdot{}[\bar{g}_n^*(\beta)-\bar{g}_n(\hat{\beta}_{GMM})]'W_n^*[\bar{g}_n^*(\beta)-\bar{g}_n(\hat{\beta}_{GMM})]\) 에 대해
3. \(J^{**}_n\) 을 최소화하는 \(\hat{\beta}_{GMM}^{**}\) 를 추정

\[\begin{aligned} \hat{\beta}_{GMM}^{**}&=argminJ_n^{**}(\beta)\\ &=(X^{*'}Z^*W_n^*Z^{*'}X^*)(X^{*'}Z^*W_n^*(Z^{*'}y^*-Z^{*'}\hat{e})) \end{aligned}\]

(단, \(W^*_n=[\frac{1}{n}\Sigma_{i=1}^nz_i^*z_i^{*'}(y_i^*-x_i^{*'}\tilde{\beta}^*)^2]^{-1},\tilde{\beta}^*\) : 최초 추정값, \(\hat{e} = y-X\hat{\beta}\) )

그리고, bootstrap p-value를 구해 검증한다.

\[p^* = \frac{1}{B}\Sigma_{b=1}^B1{J^{**}(b)>J}\]