Positive, Non-negative Definite, Idempotent

저번 포스팅의 eigenvalue,eigenvector,symmetric matrix에 이어서, Positive, Non-negative Definite, Idempotent matrix의 정의와 각각의 property에 대해 포스팅하겠다.

eigenvalue,eigenvector,symmetric matrix 관련 개념은 아래를 참고해주면 좋겠다.

https://taesungha.tistory.com/10

Eigenevalue, symmetric matrix

 

Positive and Non-negative Definite

먼저, 각각의 정의는 다음과 같다.

Let A be an n x n real symmetric matrix,

(a) A is non-negative definite (or positive semi-definite) if

(b) A is positive definite if

 

정의는 단순하다. 즉, n x n의 real symmetric matrix인 A가 존재해서, \(x \in \mathbb{R^n}\)인 \(x\)에 대해서 \(x^TAx\)이 0보다 크거나 같고, 또는 0보다 크면  각각 non-negative definite, positive definite라고 정의한다.

 

non-negative definite 관련된 Property는 아래와 같다.

Let A be a real symmetric matrix, The following statements are equiavlent;

(a) A is non-negative definite

(b) All eigenvalues of A are non-negative

(c) \(A=A^{1/2}A^{1/2}\) for symmetric matrix \(A^{1/2}\)

위를 증명하기 위해, 먼저 (a) \(\Rightarrow \) (b)를 증명할 것이다. 다음으로 (b) \(\Rightarrow \) (c)를 증명할 것이다.

마지막으로,(c) \(\Rightarrow \) (a)를 증명하면, (a), (b), (c)가 equivalent하다는 것을 증명하는 셈이 된다.

 

먼저, A가 아래와 같다는 것을 인지하자. (a),(b),(c)는 A가 real symmetric matrix라는 가정하에 성립한다.

이제, 본격적으로 증명을 시작한다.

여기서 \(x_j\)는 P행렬의 임의의 column vector를 뜻한다.

여기서 주목해야할 idea는 \(\Lambda=\Lambda^{1/2}\Lambda^{1/2}\)로,  \(\Lambda\)를 decompose했다는 것이다. 이것이 가능한 이유는  \(\Lambda\)가 diagonal matrix라는 사실로부터 기인한다.

Positive definite 관련된 Property는 아래와 같다.

Let A be a real symmetric matrix, The following statements are equiavlent;

(a) A is positive definite.

(b) All eigenvalues of A are positive.

(c) \(A=A^{1/2}A^{1/2}\) for non-singular symmetric matrix \(A^{1/2}\)

(d) A is both non negative definite and non-singular

위를 증명하기 위해 (a)\(\Rightarrow \)(b), (b)\(\Rightarrow \)(c),(c)\(\Rightarrow \)(d),(d)\(\Rightarrow \)(a)를 순차적으로 보이면 (a),(b),(c),(d)가 equivalent를 증명하게 된다.

 

이번에도, A가 real symmetric matrix이고 아래를 만족하는 것을 잘 기억하고 있어야한다.

non negative definite의 첫번째 증명과 골자가 같다.

non negative definite의 첫번째 증명과 큰 틀은 같고, det(\(A^{1/2}\))이 0이 아님을 확인할 수 있으므로 \(A^{1/2}\)이 non-singular라는 사실을 추가적으로 증명했다.

(d)  \(\Rightarrow \) (a)를 증명하기위해, 단지 \(x^TAx=0\)을 만족하는 \(x=0\)이 존재한다는 것을 밝히면 된다는 사실에 주목할 필요가 있다. 현재 우리는 A가 non-negative definite matrix라는 것을 (a),(b),(c)를 증명하면서 확인했기 때문이다. 그렇기 때문에 \(x^TAx\geq0\)을 밝히기 위해서는 단지 x=0을 증명하면 되는 것이다.

 

Idempotent

Idempotent matrix의 정의는 아래와 같다.

Let A be a real symmetric matrix. In this case, A is called idempotent if

\[A^2=A\]

즉, A가 symmetrix하면서 \(A^2=A\)을 만족하면 Idempotent이다.

 

Idempotent Matrix와 관련된 Property는 아래와 같다.

Let A be a real symmetric matrix. The following statements are equivalent:

(a) A is an idempotent matrix

(b) All eigenvalues of A are either 0 or 1.

(c) rank(A) + rank(I-A) = n

위를 증명하기 위해서,  (a) \(\Rightarrow \) (b),  (b) \(\Rightarrow \) (a)를 먼저 각각 증명할 것이다.

다음으로, (b) \(\Leftrightarrow\) (c)를 증명하면, (a),(b),(c)가 equivalent하다는 것을 보이는 셈이 된다.

 

Symmetric matrix의 property를 논의할때와 마찬가지로, 아래와 같은 사실을 먼저 기억하자.

\(\Lambda\)가 diagonal matrix고 component가 0 or 1로만 구성되어있기 때문에 \(\Lambda^2=\Lambda\)라는 특수한 사실을 알 수 있다.

B가 역행렬이 존재하면 rank(AB) = rank(A) , A가 역행렬이 존재하면 rank(BA) =rank(B)라는 사실로부터 *의 수식이 나올 수 있었다.

마지막으로, A가 idempotent하다면, tr(A)=rank(A)이다. 증명은 아래와 같다. 이는 (3)을 증명했던 내용과 골자가 같다.

이렇게, Positive definite, Non negative definite, Idempotent matrix의 정의와 관련된 property를 공부해보았다.