Eigenevalue, symmetric matrix

disclaimer: 본 카테고리 Linear Algebra for Regression Analysis에서는 회귀분석에서 중요하다고 생각되는 선형대수 개념을 포스팅합니다. 회귀분석을 공부하면서 필요한 개념들을 그때그때 정리하는 것이라, 순서가 없이 글이 올라가는점 양해바랍니다.

 

이번 포스팅에서는 Eigenvalue, Eigenvector, Real symmetric matrix에 대해 정리한다. 특히, Real Symmetric Matrix + Idempotent Matrix 관련 theorem들이 이후 개념 projection을 이해하는데 필수적이고, 나아가 projection이 곧 회귀분석이기 때문에, 중요하다는 것을 다시 한번 언급한다.

 

Eigenvalue and Eigenvector

정의는 다음과 같다. 

Let A be an n x n matrix of real numbers. A nonzero vector \(x\in \mathbb{R} ^n\) is called an eigenvector of A if there exists a scalar \(\lambda\) such that

\[ Ax\,=\, \lambda x\]

The scalar of \(\lambda\) is called the eigenvalue corresponding to the eigenvector \(x\).

즉, n by n matrix인 A와 x(\(x\in \mathbb{R} ^n\))를 행렬곱한 결과가 \(x\)와 평행하다면(길이와 방향의 차이만 있다면) 그 길이와 방향의 변화하는 만큼을 eigenvalue\(\lambda\)라고 정의한다는 것이다. 그리고, eigenvalue에 해당하는 x를 eigenvector라고 정의한다.

eigenvalue를 구하는 방법은 아래 수식에서, \(\lambda\)의 근을 찾는 것이다.

\[det(A-\lambda I_n)=0\]

해당 증명은 아래와 같다.

첫번째 줄은 정의를 다시 쓴것이고, 두번째 줄은 좌변으로 식을 정리한 것이다. 세번째 줄은 두 번째 줄로부터 나오는 사실이다. 즉, x가 0이 아니라면 x 이외에 다른 근이 존재해야 할 것이고, 이는 \((A-\lambda I_n)\)가 역행렬이 존재하면 안된다는 것을 의미한다. 그리고 이는 네번째 줄을 의미한다.

여기서 참고할 점은, eigenvalue는 몇 개 안나올 수 있지만, eigenvector는 여러개가 나올 수 있다는 점이다.

 

또한, A가 nxn matrix이면서 n개의 eigenvalue \(\lambda_1,...,\lambda_n \)이 존재한다면, 아래와 같은 두 가지 사실이 성립한다.

(a) tr(A) = \(\sum_{i=1}^{n}\lambda _i\)

(b) det(A) = \(\prod_{i=1}^{n}\lambda _i\)

해당 derivation은 \(det(A-\lambda I_n)=0\)을 직접 정리해보면 알 수 있기 때문에, 생략한다. 

 

Real Symmetric Matrix

대칭행렬이라고도 한다.

잘 알고 있듯이, n x n의 real matrix A가 존재해서 \(A=A^T\)를 만족하면 Real Symmetric Matrix라고 부른다.

회귀분석, 통계학에서 Real Symmetric Matrix가 중요한 이유는 무엇일까?

단적으로 random vector \(X=(X_1,...,X_n)\)의 분산행렬 \(\sum\)이 real symmetric matrix기 때문이다. 또한, symmetric + idempotent하면 projection인 조건이 되고, 이 개념이 회귀분석에서 중요하기 때문이다.(관련된 선형대수 개념은 이후 계속 정리될것이다)

 

A가 Real Symmetric Matrix라면, 아래 두 가지 사실이 성립한다.

(a) Every eigenvalue \(\lambda\) of the matrix A is a real number.

(b) There exists an n x n matrix \(P\) and diagonal matrix \(\Lambda \) such that

\[A = P\Lambda P^T\quad and\quad P^TP=PP^T=I_n\]

위의 두 가지 사실은 학부 수준으로 증명이 어렵기때문에, 받아들여주면 좋겠다.

 

다만, (b)에 대해서 해석을 덧붙이고자 한다.

먼저, matrix P를 column vector로 나눠보자.

\(P=(x_1,...,x_p)\)

그리고, \(P^TP=PP^T=I_n\)이므로 \(AP=P\Lambda\)가 성립한다.

\(AP\)와 \(P\Lambda\)를 각각 정리해보면 다음과 같다.

즉, \(Ax_i=\lambda_ix_i\)이므로, A의 eigenvalue가 \(\lambda_i\)이며, \(x_i\)는 그에 상응하는 eigenvector라는 것을 알 수 있다.

그렇기 때문에, (b)의 \(\Lambda \)는 A의 eigenvalue를 크기순으로 diagonal matrix로 모아놓은 것이라고 보면 된다.

 

이번에는 A의 eigenvector를 해석해보자.

\(I_n=P^TP\)이므로, 아래와 같이 정리된다.

즉, \(x_i^Tx_j\)에서, i=j일때만 1이 되고 그 이외의 경우에서는 0이 되므로, 지시함수를 써서 위와 같이 표현한것이다. 

또한, \(x_i^Tx_j\)은 \(x_i,x_j\)의 내적이므로 \(<x_i,x_j>\)으로 표현했다.

 

즉, 내적했을때 자기자신인 경우(길이)가 1이고, 나머지의 내적은 0(직교)한다. 또한,  P의 column vector들은 linearly independent하므로 orthonomal basis of \(\mathbb{R}^n\)이다. (*여기에도 내적(inner-product), 수직(orthogonal), basis, linearly independent와 관련된 선형대수 개념에 대한 이해가 선행되어야 하는데, 기회가 되면 관련 내용들을 포스팅하겠다.)

 

그리고,\( A = P\Lambda P^T\)은 또한 아래와 같이 표현된다.

위 사진에서 \(Ax=P\Lambda P^Tx\)라고 두면 아래와 같이 쓸 수 있다.

즉, \(x\)를 \(x_i\)로 projection시킨 것에 \(\lambda_i\)를 곱한 것을 모두 더한 것으로 해석할 수 있다. 이는 symmetric matrix가 projection과 긴밀히 연결되어있다는 것을 보여준다.

 

다만, 위 사진의 *가 왜 projection인지에 대해 이해가 안될 수 있는데, 차후 이 부분도 포스팅을 통해 설명하도록 하겠다.

 

다음 포스팅은 idempotent 관련 개념이 될 예정이다.