Ch.5 Model Validation and Diagnotics-(2)

전 포스팅에 이어 목차 3의 Generalized Least Squares Regression에 대해 포스팅하겠다.

https://taesungha.tistory.com/2

Ch.5 Model Validation and Diagnotics-(1)

(전 포스팅 참고)

 

앞선 포스팅에서, \(y=X\beta +\varepsilon \), \(E(\varepsilon)=0 and Var(\varepsilon)=\sigma^2 V\)인 경우,  

다시 말해서 기본적인 multiple linear regression의 가정 중  등분산성과 각 error 관측치가 독립이 아닐때에 대해 어떻게 해결해야하는지에 대해 간략하게 언급했다. 이번 포스팅에서는, 그 '해결책'인 Generalized Least Sqaure Regression을 더 자세히 설명하고, GLS의 special case인 Weighted Square Regression과, Gauss-Markov Theorem에 대해 설명하도록 하겠다.

 

1. Generalized Least Sqaure Regression

\(y=X\beta +\varepsilon \), \(E(\varepsilon)=0 \,and \,Var(\varepsilon)=\sigma^2 V\), (V는 symmetric positive definite matrix이고, 알고 있다고 가정한다)의 모델을 살펴보자

위 모델은 각 관측치마다 분산이 다르고, 서로 종속적이다. 이는 기본적인 다중회귀모델의 가정을 위배하기 때문에, 위 모델을 적절히 변형하여 가정을 만족시켜주고, 이후에 Least Square Estimator(LSE)로 만들어주어야 한다. 이를 위해, 위 모델의 좌변, 우변에 \(V^{-1/2}\)을 곱해주도록 하자.

즉, \(V^{\frac{1}{2}}y=V^{\frac{1}{2}}X\beta + V^{\frac{1}{2}}\varepsilon \)과 같이 만들어준다. 

그리고,

\(V^{\frac{1}{2}}y=y^*\)

\(V^{\frac{1}{2}}X=X^*\)

\(V^{\frac{1}{2}}\varepsilon =\varepsilon^*\)

로 둔다.

그러면, 변형된 회귀모델은 다음과 같다. 

\(y^* = X^*\beta +\varepsilon ^* ,\, where\, E(\varepsilon ^*)=0\;and\;Var(\varepsilon ^*)=\sigma ^2I_n\)

변형된 회귀모델은, 오차항이 정규분포이며, 평균이 0이고 분산이 \(\sigma ^2I_n\)이므로, LSE를 구할 수 있다.

이는 기본다중회귀모형에서  \(\hat\beta\)을 구하는 식에 plug-in 하면 된다. 

따라서, \(\hat\beta_G=(X^TV^{-1}X)^{-1}X^TV^{-1}y\)이 된다. 이를 Generalized LSE라고 부른다. 

그리고, \(\hat\beta=(X^TX)^{-1}X^Ty\)를 Ordinary LSE라고 부른다. 

그렇다면, 두 LSE 중 뭐가 더 좋은 estimator일까? 이를 판단하는 기준이 있을까?

기본적으로 두 LSE 모두 unbiased estimator, 즉 평균값이 모수를 나타낸다. 다만, 두 분산에 차이가 있다.

\(Var(\hat\beta)=\sigma ^2(X^TX)^{-1}\)

\(Var(\hat\beta_G)=\sigma ^2(X^TV^{-1}X)^{-1}\)

인 두 분산에서, 크기를 비교할 수 있다면 두 estimator 중 누가 더 좋은 것인지 판단할 수 있다.

다만, 둘 다 matrix기 때문에 비교가 어려울 수 있는데, 선형대수의 non negative definite(n.n.d) matrix 개념을 이용하면 비교가 가능하다. 또한, 여기서 더 나아가 어떤 임의의 linear & unbiased estimator보다도 GLSE가 우월하고, best among all linear unbiased estimator(BLUE)가 됨을 알 수 있다. 자세한 논의는 Gauss-Markov Theorem에서 다시 하도록 하겠다.

---

여기서부터는 스크린샷으로 수식을 쓰도록 하겠습니다.(라텍으로 모든 수식을 다 쓰려니까 시간이 너무 많이 걸리네....)

 

2. Weighted Least Square Regression

일명, WLSR 모델은 GLSR 모델의 special case로 이해할 수 있다. 모든 것은 동일한데, epsilon의 분산이 대각원소로 구성되어있다.

 

여기서, GLS를 구할때와 똑같이  \(W^\frac{1}{2}\)만큼을 양변에 곱해준다면,

\(E(\varepsilon ^*)=0\;and\;Var(\varepsilon ^*)=\sigma ^2I_n\)가 된다. 

여기서, \(\hat\beta\) 을 구하는 식에 plug-in시켜 \( \hat\beta_W\)을 구하면 아래와 같이 만들어지는데,

 

 

 

 

 

 

 

이 값은 결국 변형된(*을 잘 보시라) WLSR 모델의 잔차의 최소를 만드는 estimator이므로, 또 아래와 같이 쓸 수 있다.

마지막 식에 \(wi\)가 붙은 것을 해석해보자. 원래 OLS에서는 앞에 뭐가 붙지 않는다. 그런데, WLSR에서는 보정의 의미로 \(wi\)가 붙은 것으로 이해할 수 있다. 쉽게 말해서, 원래 OLS에서는 모든 관측치의 \(\varepsilon \)의 분산이 모두 \(\sigma^2\)로 동일하기 때문에, 분산에 대한 보정이 필요없었다. 그런데, WLSR에서는 각 관측치의 분산이 \(1/w_i\)로 다르기 때문에, 그 역수만큼을 곱해줘서 잔차를 보정해주는 것으로 이해할 수 있다.

 

3. Gauss-markov Theorem

Gauss-markov 정리는 위의 \(y=X\beta +\varepsilon \), \(E(\varepsilon)=0 \,and \,Var(\varepsilon)=\sigma^2 V\)에서, 가장 좋은 estimator는 \(\hat\beta_G\)라는 것을 말해주는 정리다.

이에 대한 증명은 다음과 같다.

먼저, 아래처럼 \(\widetilde{\beta }\)가 임의의 linear하고, unbiased한 estimator라고 보자. 그러면 => 부분의 등식이 성립한다.

그러면 우리가 할 일은, 아래처럼 \(Var(\widetilde{\beta }) - Var(\hat\beta_G) \geq 0 \),

다시 말해 \(Var(\widetilde{\beta }) - Var(\hat\beta_G)\)가 n.n.d라는 것을  증명을 해주면 된다.

이를 위해 먼저 아래 과정을 거친다. 즉,  먼저 \(B\)를 아래와 같이 정의해준다. 

그리고 나서 정리해주면, 다음과 같이 된다.

여기서, \(\beta\)는 모수에 해당하고, 어떤 수도 될 수 있기 때문에 \(BX\beta=0\)이 \(X\beta)=0\)로 정리된다.

그렇다면,  \(Var(\widetilde{\beta }) - Var(\hat\beta_G)\)를 아래와 같이 정리할 수 있고, n.n.d가 된다는 사실을 알 수 있다.

이를 통해, 우리는 \(y=X\beta +\varepsilon \), \(E(\varepsilon)=0 \,and \,Var(\varepsilon)=\sigma^2 V\)의 상황에서 최선의 추정 방법이 GLS라는 사실을 Gauss-Markov 정리를 통해 알게 되었다.

---

아직 LateX를 이용한 포스팅이 익숙하지도 않고, 애초에 수식이 많이 들어가다보니 시간이 오래걸렸다.. 이것도 요령이 생기면 좀 빨라지겠지..?ㅎ