Statistics/Regression Analysis16 Ch.7 Biased Regression - (3) Ch.7 Biased Regression의 마지막 목차, Principal Component Regression을 다룬다. Ch.7 Biased Regression은 multilcollinearity란 무엇인지, 어떻게 확인하는지, 어떤 결과를 초래하는지, 그리고 그 과정에서 Centered MLRM을 소개하고, multilcollinearity가 발생했을 때 대처방법인 Ridge Regression과 Principal Component Regression에 대해 다루고 있다. 이번 포스팅은 다중공선성이 발생했을 때의 Ridge regression과는 또 다른 방법인 Principal Component Regression, 일명 PCR을 다룬다. Principal Component Analysis: Re.. 2022. 7. 2. Ch.7 biased Regression - (2) 이번 글은 아래 포스팅에 연관되는 내용이다. 즉, multicollinearity가 발생했을때 어떻게 대처해야되는가?에 대해 다룬다. https://taesungha.tistory.com/9?category=1286656 Ch.7 Biased Regression - (1) 이번 챕터는 Biased Regression에 대해 다룬다. 지금까지 다뤘던 우리의 MLRM은 Unbiased Regression이었다. 즉, Estimator의 평균이 모수가 되는 Regression이었다. 이와 달리, Biased Regression은 Estimator의.. taesungha.tistory.com 위의 포스팅 내용을 간략히 요약하면, 다중공선성이란 design matrix가 nearly linearly depend.. 2022. 6. 30. Ch.4 Constrained Least Square Estimation - (1) Ch.7 Unbiased Regression을 이어서 포스팅하기 전에, 먼저 선형제약조건 하의 MLRM에 대한 이야기를 하고 가고자한다. 진도가 뜬금없을 수 있지만, Largrange Multiplier method를 이용한 LSE 방법이 Ch.4 Constrained Least Square Estimation 에서 처음 다뤄지기 때문에 꼭 짚고 넘어가야한다고 생각했다. Largrange Multiplier method를 이용한 LSE는 Ch.7 Unbiased Regression의 Ridge Regression에도 등장한다. ( Ch.4 회귀계수의 일부, 제약조건의 MLRM을 하면 Simple Linear Regression까지 모두 정리가 되기 때문에, 블로그 포스팅 순서는 Ch.7이 마무리되고 Ch.. 2022. 6. 29. Ch.7 Biased Regression - (1) 이번 챕터는 Biased Regression에 대해 다룬다. 지금까지 다뤘던 우리의 MLRM은 Unbiased Regression이었다. 즉, Estimator의 평균이 모수가 되는 Regression이었다. 이와 달리, Biased Regression은 Estimator의 평균이 모수가 되지 않는 Regession이다. 즉, 추정치의 평균이 모수와 다르기 때문에, Unbiased Regression보다 좋지 못한 회귀모델이라고 볼 수 있다. 그렇다면, 굳이 우리가 왜 Biased Regression을 배워하는가? 그 이유는 Multicollinearity(다중공선성)때문이다. Ch.7을 요약하자면, 다중공선성 문제는 추정치의 분산을 폭증시키는 원인이 되고, 기존의 Unbiased Regression에서.. 2022. 6. 25. Ch.6 Non-full-rank Model-(1) 저번 포스팅까지해서 Ch.5 Model Validation and Diagnotics를 마무리했다. Ch.5의 내용 정리 포스팅은 아래를 참고하면 좋겠다. https://taesungha.tistory.com/2 Ch.5 Model Validation and Diagnotics-(1) Ch.5전까지 우리는 data를 linear regression model로 fitting하고, 이 model의 prediction power가 어떤지, 또는 회귀계수 전체 또는 일부에 대한 가설검정, 또는 회귀계수에 대한 confidence interval을 구하는.. taesungha.tistory.com https://taesungha.tistory.com/5 Ch.5 Model Validation and Diagno.. 2022. 6. 22. Ch.5 Model Validation and Diagnotics-(3) 저번 포스팅에 이어서, Ch.5 Model Validation and Diagnotics을 마무리하고자 한다. https://taesungha.tistory.com/2 Ch.5 Model Validation and Diagnotics-(1) Ch.5전까지 우리는 data를 linear regression model로 fitting하고, 이 model의 prediction power가 어떤지, 또는 회귀계수 전체 또는 일부에 대한 가설검정, 또는 회귀계수에 대한 confidence interval을 구하는.. taesungha.tistory.com https://taesungha.tistory.com/5 Ch.5 Model Validation and Diagnotics-(2) 전 포스팅에 이어 목차 3의 .. 2022. 6. 21. Ch.5 Model Validation and Diagnotics-(2) 전 포스팅에 이어 목차 3의 Generalized Least Squares Regression에 대해 포스팅하겠다. https://taesungha.tistory.com/2 Ch.5 Model Validation and Diagnotics-(1) Ch.5전까지 우리는 data를 linear regression model로 fitting하고, 이 model의 prediction power가 어떤지, 또는 회귀계수 전체 또는 일부에 대한 가설검정, 또는 회귀계수에 대한 confidence interval을 구하는.. taesungha.tistory.com (전 포스팅 참고) 앞선 포스팅에서, \(y=X\beta +\varepsilon \), \(E(\varepsilon)=0 and Var(\varepsilo.. 2022. 6. 20. Ch.5 Model Validation and Diagnotics-(1) Ch.5전까지 우리는 data를 linear regression model로 fitting하고, 이 model의 prediction power가 어떤지, 또는 회귀계수 전체 또는 일부에 대한 가설검정, 또는 회귀계수에 대한 confidence interval을 구하는 과정을 공부하였다. 또한, 우리는 위의 통계적 추론을 위해 error term이 등분산을 만족하고, 평균이 0이며, 분산이 sigma squared * identity matrix라는 가정을 두었다. 회귀분석에서의 통계적 추론은 위의 가정으로부터 비롯된다. Ch.5 Model Validation and Diagnotics는 우리의 Multiple Regression model의 가정이 과연 제대로 충족되는지 확인하는 방법(수단), 그리고.. 2022. 6. 20. 이전 1 2 다음
