2 3 4 5 6 'Statistics/Regression Analysis' 카테고리의 글 목록
본문 바로가기

Statistics/Regression Analysis16

Ch.4 MLRM(General Testing) - (1) Ch.3은 Linear Regression Model이 무엇인지를 배웠던 챕터이다. 큰 골자는 아래와 같았다. 1. Multiple Linear Regression Model에서 Ordinary Least Square로 어떻게 최선의 estimator(intercept,slope)를 찾는지? 2. 최선의 estimator가 과연 y의 변동성을 잘 설명하는지? Full model의 데이터(y값)에 대한 설명력이 얼마나 되는지? 3. full model 중 어떤 estimator를 삭제해도 괜찮을지?(전체 또는 개별) , estimator의 신뢰구간은 얼마나 되는지? 이번 포스팅은, 3의 가설검정을 조금 더 detail하게 하는 방법을 배운다. 즉, '내가 원하는 기울기 또는 절편만' 선택해서 가설검정 하는.. 2022. 7. 19.
Basic for Regression Analysis - Non central Chisquare Dist.(추가) 2022. 7. 8.
Basic for Regression Analysis - Quadratic Form 이번 포스팅은 Quadratic form을 다룬다. 회귀분석에서 가설검정을 할 때, 대부분의 통계량이 quadratic으로 표현되기 때문에, 꼭 알아야 되는 개념이라고 할 수 있다. Quadratic Form Quadratic form이란, 모든 term의 차수가 2인 다항식(polynomial)을 의미한다. 이는 아래와 같이 표현된다. \[Q(x_1,...,x_n) = \sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}x_ix_j\] 이 때, \(x=(x_1,...,x_n)^T \) and \(A=(a_{ij})\)이다. 또한, A행렬은 항상 symmetric하며, symmetric이 아니더라도 아래와 같이 변형하여 symmetric으로 만들어줄 수 있다. \[Q(x) = x^T(\frac{.. 2022. 7. 8.
Basic for Regression Analysis - Normal Distribution disclaimer: Basic for Regression Analysis은 회귀분석의 논리를 전개하기 위한 다변량 정규분포, 이차형식, 비중심 카이제곱분포, 비중심 t분포와 F분포를 다룹니다. 이번 포스팅은, Basic for Regression Analysis의 Normal Distribution을 다룬다. MLRM에서, error term에 Normality Assumption을 추가하면 비로소 통계량들이 분포를 갖게 되고 그로 인해 가설검정, 신뢰구간을 구할 수 있게 된다. 그 시작점이라고 할 수 있는 Normal Distribution을 살펴보자. Multivariate Normal Distribution We say a random vector Z follows the multivariate.. 2022. 7. 8.
Ch.3 MLRM - (4) (검토예정) Ch.3의 저번 포스팅까지 우리는 MLRM의 LSE를 계산했고, LSE의 평균과 분산을 공부했다. 또한, Y의 변동성인 분산(SST)을 SSR(y를 x를 기반으로 설명하는 부분) + SSE(모델로도 설명하지 못하는 부분)으로 나눴고, 모델의 성능을 \(R^2\)으로 확인할 수 있다는 것을 공부했다. 이번 포스팅은, 이제 error term에 Normality Assumption을 추가하여 본격적으로 가설검정을 해보고자 한다. Normality Assumption In order to test hypothesis and derive confidence interval, assume further that the error is distributed as normal in the MLRM: \[y= \bet.. 2022. 7. 8.
Ch.3 MLRM - (3) https://taesungha.tistory.com/16 Ch.3 MLRM - (2) 이번 포스팅은, 기본 MLRM으로 다시 돌아온다. MLRM의 추정방법, 가설검정, 신뢰구간 구하는 방법들을 공부하며, Model Selection을 공부하기 위한 지식들을 복원하고자 한다. MLRM - (1)은 identifiable과 관 taesungha.tistory.com Ch.3의 지난 포스팅에서는, MLRM이 무엇인지 정의하고, LSE를 도출하고, 추정치의 평균과 분산을 증명해냈다. 그 과정에서, \(\hat{\beta}\)을 다시 \(\hat{\beta}_0,\hat{r}_1\)으로 나눠 intercept와 slope로 decompose하여 LSE와 평균, 분산을 도출하는 방법을 배웠다. 이번 포스팅은, .. 2022. 7. 7.
Ch.3 MLRM - (2) 이번 포스팅은, 기본 MLRM으로 다시 돌아온다. MLRM의 추정방법, 가설검정, 신뢰구간 구하는 방법들을 공부하며, Model Selection을 공부하기 위한 지식들을 복원하고자 한다. MLRM - (1)은 identifiable과 관련된 포스팅이 올라갈 예정이다. Least Square Estimation LSE란, \(\varepsilon\)의 제곱합을 최소로 하는 \(\hat{\beta}\)를 의미한다. 이는 아래와 동치다. 이를 vectorized form으로 다시 나타내면 아래와 같다. 여기서, \(X\beta=Z\)로 두자. 그리고, \(X\hat{\beta}=\hat{Z}\)로 두자. 그러면 아래와 같은 논리를 펼칠 수 있다. projection의 'the close vector pro.. 2022. 7. 3.
Introduction to Regression Analysis - (1) 이번 포스팅은, 회귀분석이 무엇인지에 대해 개괄적으로 다룬다. 진도를 거침없이 나가기보다는, 내가 왜 이 공부를 해야되는지, 이 학문이 무엇인지를 짚고 가는 것이 중요하다고 생각해서, 잠시 잊고 있었던 Introduction을 다시 한번 정리해본다. Regression Analysis Regression Analysis is a statistical technique for investigating and modeling the relation between variables of interest. 회귀분석이란, 관심있는 변수 간의 관계를 조사하고, 모델링하는 통계기법을 의미한다. 그렇다면, 변수 간의 관계란 무엇일까? Functional Relation vs Statistical Relation Let.. 2022. 7. 3.