대칭인 양의 정부호 행렬은
- 모든 고유값이 양수
- 에너지 $x^TSx$ > 0 ( $x \neq 0 ) $
- $S = A^TA$ ( $A$ 의 col 은 독립 )
- 행렬식 > 0 ( 모든 leading 행렬의 행렬식 )
- 소거법 elimination 에서 모든 pivots ( 주축들 ) > 0
을 만족한다.
$S$ 와 $T$ 가 양의 정부호 행렬일 때
$S + T$ 는 양의 정부호행렬인가? -> $x^T(S+T)x = x^TSx + x^TTx > 0$ yes!
$S^{-1} 은 양의 정부호행렬인가? -> $S^{-1}$ 의 고유값은 $\frac{1}{\lambda}$ 임. yes!
$Q^TSQ$ 는 양의 정부호 행렬인가? -> $Q^{-1}SQ$ 는 $S$ 와 닮음이고 고유값이 같다. yes!
$x^TQ^TSQx = (Qx)^T S (Qx) = y^T S y > 0$ yes!
준정부호행렬 Positive Semi Definite 는
- $\lambda_i \geq 0$
- $x^TSx \geq 0 $
- $A^TA$ ( $A$ 의 col 은 종속이 가능 )
- pivot >= 0
- 선행 행렬식 >= 0
랭크가 1 인 행렬의 대각화
$ A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \\ \end{bmatrix} = \lambda_1 q_1 q_1^T + \lambda_2 q_2 q_2^T + \lambda_3 q_3 q_3^T $ 에서 랭크는 1 이기때문에, 나머지 2 고유값은 0 이된다.
대칭행렬 $S= S^T$
- $S$의 모든 $n$ 개의 고유값 $\lambda$ 는 실수이다.
- $n$ 개의 고유벡터 $q$ 는 서로 직교하는 벡터로 선택할 수 있다.
극단적인 예시 $S=I$ 인경우, 모든 $\lambda = 1$ 이고, 모든 영이아닌 벡터 $x$ 는 $Ix = 1x$ 를 만족한다.
따라서 반복적인 고유값에 대해서 고유벡터 $q$ 를 길이가 1이고 서로 직교하는 고유벡터로 '선택' 할 수 있다.
고유벡터 $q_1 \cdots q_n$ 의 고유벡터 행렬 $Q$은 직교행렬 $Q^TQ = I$ 를 만족한다.
$S$ 의 고유벡터가 직교행렬일때 $Q$ 라고 표현하고, $Q^TQ =I$, $Q^T = Q^{-1}$, $S = Q\Lambda Q^{-1}$ 이다.
스펙트럼 정리 모든 실수인 대칭행렬은 $S = Q\Lambda Q^T$ 를 만족한다.
직교 고유벡터와 실수인 고유값에 대한 빠른 증명
고유벡터가 직교인 이유?
- $Sx=\lambda x$ , $Sy=0y$ 라고 할때, $S$ 에는 0 이 아닌고유값과 0 인 고유값이 있다. $y$ 는 $S$ 의 영공간에 있고, $x$ 는 $S$ 의 열공간에 있다( $x = \frac{Sx}{\lambda}$ 는 $S$ 의 열들의 결합이기 때문 ). 여기서 $S$ 는 대칭행렬로 열공간과 행공간이 같고, 행공간과 영공간은 직교하기 때문에 $x$ 와 $y$ 는 직교한다.
- 고유값이 0 이 아닐때 ( $Sy = \alpha y$ ), $\lambda - \alpha \neq 0$ 이면, $ (S-\alpha I )y = 0y$ 이며, $ (S-\alpha I)x = (\lambda - \alpha )x$ 이다. 행렬 $S - \alpha I$ 에 대해서 $y$ 는 영공간에 있고, 고유값 $\lambda - \alpha $ 를 가진다. 즉 $x$ 는 열공간에 있다. 따라서 고유값이 서로 다를때 고유벡터 $x$, $y$ 는 직교한다. ( 1번에 의해서 )
대칭행렬의 고유값과 고유벡터가 실수인 이유?
$Sx = \lambda x$ 양변 $\bar{x}^T$ 곱, $\bar{x}^TSx = \lambda \bar{x}^Tx$
- $\bar{x}^T x = \bar{x_1} x_1 + \cdots + \bar{x_n} x_n$, 모든 $\bar{x_k} x_k = (a-ib)(a+ib) = a^2+b^2 $ 는 실수이다.
- $\bar{x}^TSx = S_{11}(\bar{x_1} x_2 + x_1 \bar{x_2}) + \cdots $ 도 실수이다.
- 실수 = 실수 * 실수 이기때문에, $\lambda $ 는 실수이고, $(S-\lambda I)x = 0$ 으로 $x$ 도 실수벡터이다.
양의 정부호 행렬
양수인 고유값에 대한 판정법
판정법 1 : 양의 정부호 행렬의 고유값은 모두 양수이다.
- 양의 정부호 행렬 $S = \begin{bmatrix} 2 & 0 \\ 0 & 6 \\ \end{bmatrix} $ 의 고유값 2, 6 은 모두 양수이다.
- $Q^T=Q^{-1}$ 이면, $S' = QSQ^T$ 는 양의 정부호 행렬이고, 고유값은 2,6 이다.
- 만약 $C$ 가 가역행렬이면, $S' = CSC^T$ 는 양의 정부호 행렬이다. (명확하지는 않음)
- $a > 0$ 이고, $ac > b^2$ 일때, $S = \begin{bmatrix} a & b \\ c & d \\ \end{bmatrix}$ 는 양의 정부호 행렬이다.
- $S = \begin{bmatrix} 2 & 0 \\ 0 & 0 \\ \end{bmatrix}$ 은 준정부호 행렬이다. $\lambda \geq 0$ 이지만, $\lambda >0$ 은 아니다.
에너지 기반 정의
양의 에너지에 대한 판정법
판정법 2 : $x \neq 0 $ 인 모든 벡터 $x$ 에 대해 에너지 $x^TSx$ 가 양수이면 $S$ 는 양의 정부호 행렬이다.
위는 $\lambda >0$ 에 대한 완벽한 판정법이다.
에너지 $x^TSx = x^TSx = \begin{bmatrix} x_1 & x_2 \\ \end{bmatrix}\begin{bmatrix} 2 & 4 \\ 4 & 9 \\ \end{bmatrix}\begin{bmatrix} x_1 \\ x_2\end{bmatrix}$
$= 2x_1^2 + 8x_1x_2 + 9x_2^2 = 2(x_1 + 2x_2)^2 + x_2^2$
영벡터 $x$ 를 제외한 모든 벡터 $x$ 에 대해서 에너지는 제곱합으로 포현되기 때문에 양수이다.
$Sx = \lambda x$ 이면, $x^TSx = \lambda x^T x$ 이고, $x^Tx > 0$ 이기 때문에, $\lambda > 0$ 이므로 (위의 $S$), $x^TSx >0 $ 이다.
모든 고유벡터가 양의 에너지를 가지면, 0 이아닌 모든 벡터 $x$ 는 양의 에너지를 가진다.
모든 $x$ 는 고유벡터의 결합 $c_1x_1 + \cdots + c_n x_n$ 이고, $S$ 가 대칭행렬이므로 직교하는 고유벡터를 선택할 수 있다.
모든 $\lambda_i > 0 $ 이면 ( 모든 고유벡터의 에너지 > 0 이면 ), $x^TSx = (c_1 x_1^T + \cdots + c_n x_n^T) S ( c_1 x_1+ \cdots + c_n x_n) = (c_1 x_1^T + \cdots + c_n x_n^T)(c_1 \lambda_1 x_1 + \cdots + c_n \lambda_n x_n) = c_1^2 \lambda_1 x_1^Tx_1 + \cdots + c_n^2 \lambda_n x_n^T x_n > 0 $ 고유벡터의 직교성을 이용한다.
고유값과 고유벡터를 모를때 에너지 판정법
$S_1$, $S_2$ 가 대칭인 양의 정부호행렬일 때, $S_1 + S_2$ 도 대칭인 양의 정부호행렬이다.
$x^T(S_1+S_2)x = x^TS_1x + X^TS_2x > 0$
$S_1+S_2$ 의 고유값과 고유벡터는 구하기 힘들지만, 에너지는 단지 더하면 된다.
세가지 동치 판정법
판정법 3 : 각 열이 모두 독립인 $A$ 에 대해서 $S = A^TA$ 이다.
판정법 4 : $S$ 의 모든 주요 행렬식 $D_1, D_2, \cdots, D_n$ 은 양수이다.
판정법 5 : $S$ 의 모든 추축은 양수이다.
$A$ 의 열이 모두 독립이여야 하는 이유?
$S= A^TA$의 에너지 $= x^TSx = x^TA^TAx = (Ax)^T(Ax) = ||Ax||^2$
에너지는 벡터 $Ax$ 의 길이의 제곱이고,
$x \neq 0$ 일때, $Ax \neq 0 $ 일 조건은, $A$ 의 열이 일차독립이여야 하기 때문이다.
종속인 열이 존재하면, $x^TSx = ||Ax||^2$ 이므로 음수일 수는 없기때문에, $A^TA$ 가 적어도 준정부호이다.
$S$ 가 준정부호 행렬이면, $S$ 의 에너지, 고유값, 행렬식, 추축이 0 이 될수도 있다.
행렬식 판정법과 추축 판정법
$S = \begin{bmatrix} 2 & -1 & & \\ -1 & 2 & -1 & \\ & -1 & 2 & -1 \\ & & -1 & 2 \\ \end{bmatrix}$ 에 대해서 1~4 주요행렬식 $D_1 = 2$, $D_2 = 3$, $D_3=4$, $D_4=5$ 이다.
주요 행렬식은 추축과 밀접한 관련이 있다.
첫번째 추축은 2 이고, $\frac{1}{2}$(1행) 를 2행에 더할때, 2번째 추축 $\frac{3}{2}$ 이 나타난다.
추축들 $2$, $\frac{3}{2}$, $\frac{4}{3}$, $\frac{5}{4}$ 는 행렬식들의 비율이다.
$k$ 번째 추축은 주요 행렬식의 비율 $\frac{D_k}{D_{k-1}}$ 와 같다. 행렬의 크기는 ($k$, $k-1$ 이다.)
따라서 주요 행렬식들이 모두 양수일 때, 추축 역시 모두 양수이다.
행렬은 $A= LU$ 로 분해할때, $L$ 은 대각성분에 1 을 포함하고, $U$ 는 추축을 포함했는데, 대칭행렬 $S$ 에 대해서는 균형을 맞춰
$S = LDL^T$ 형태로 나타낼 수 있다.
$S = LU$ 에서 $U$ 의 추축을 $D$ 행렬로 꺼내어 대각행렬을 만들고 $S = LUL^T$ 를 구성한다.
이 $S = LUL^T = A^TA$ 로 분해할때 $A = \sqrt{D}L^T$ 이 된다.
소거는 모든 양의 정부호 행렬 $S$ 를 $A^TA$ 로 분해한다. ( $A$ 는 상삼각행렬 )
이를 $A$ 의 주대각성분에 $\sqrt{\text{pivot}}$ 을 가진 $S = A^TA$ 숄레스키 분해라 한다.
$S= A^TA$ 판정법 : $A$ 의 두가지 특별한 선택
$S$ 가 양의 정부호 행렬 일때, $S = A^TA$ 판정법을 위해 하나의 $A$ 를 찾아야한다.
- $A$ 가 대칭행렬 : $S = Q\Lambda Q^T$
고유값의 제곱근을 취해, $A = Q \sqrt{\Lambda} Q^T = A^T$ 를 찾는다. - $A$ 가 삼각행렬 : 양의 추축이 있는 $D$ 에 대해, $S= LU=LDL^T$ 이면,
$S = (L\sqrt{D})(\sqrt{D}L^T)$ 이 성립한다. $A = \sqrt{D}L^T$
각각의 5개 판정법은 그 자체로 양의 정부호인지 준정부호인지 둘다 아닌지에 대한 완전한 답을 줄 수 있다.
양의 정부호 행렬과 최소화 문제
양의 정부호 행렬 $ S = \begin{bmatrix} a & b \\ b & c \\ \end{bmatrix} $ 에 대해서 판정법을 적용해본다.
- 행렬식 $a>0, ac-b^2 > 0$
- 추축 $a>0, \frac{ac-b^2}{a}>0$
- 고유값 $\lambda_1 > 0, \lambda_2 > 0$
- 에너지 $ax^2 + 2bxy + cy^2 > 0$
$a = c = 5$, $b = 4$ 인 예에서, $S$ 의 고유값은 9, 1 이다.
고유값 : 9, 1
에너지 : $E = x^TSx = 5x^2 + 8xy + 5y^2 > 0 $
에너지 함수 : $E(x,y)$ 는 아래로 볼록한 모양이고, 최소점 $x=y=0$ 에서 $E=0$ 이다.
양의 정부호는 행렬의 이계도함수와도 연관이 있다.
일변수함수 $f(x)$ 의 최소값에 대한 판정법으로, $x = x_0$ 에서, 일계도함수 $\frac{\mathrm{d} f}{\mathrm{d} x} =0$ 이고, 이계도함수 $\frac{\mathrm{d}^2 f}{\mathrm{d} x^2} > 0 $ 이면, 최소값을 가진다.
이변수함수 $f(x,y$ 에 대해, 이계도함수는 양의 정부호 행렬이다.
- $\frac{\partial f}{\partial x} = 0$
- $\frac{\partial f}{\partial y} = 0$
- $\begin{bmatrix} \frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x \partial y} \\ \frac{\partial^2 f {\partial x \partial y} & \frac{\partial^2 f}{\partial y^2} \\ \end{bmatrix}$ 는 $x_0$, $y_0$ 에서 양의 정부호 행렬이다.
이계도함수 $S$ 가 양의 정부호이면, $f = \frac{1}{2} x^T S x>0$ 이므로 이계도함수가 양의 정부호행렬일 때마다 증가한다.
만일 $S$ 의 고유값이 $\lambda < 0 $ 이라면, 그래프는 0 아래로 가고, 만약 $S$ 가 음의 정부호 행렬 이라면 ( 모든 $\lambda < 0$, 뒤집힌 그릇 모양), 최대 값을 가지고, $S$ 가 양수와 음수인 고유값을 모두가지면 안장점이 존재한다. 안장점 행렬은 부정부호이다.
최적화와 머신러닝
경사하강법은 각 단계에서 그릇의 하단점 $x^*$ 을 향하는 가장 가파른 방향을 취한다.
- 미분적분학 : $x^*$ 에서 $f$ 의 편도함수는 모두 0 이다. ( $\frac{\partial f}{\partial x_i} = 0$ ).
- 선형대수학 : 행렬 $S$ 의 이계도함수 $\frac{\partial^2 f}{\partial x_i \partial x_j} $ 는 양의 정부호 이다.
만일 $S$ 가 모든점 $x = (x_1, \cdots , x_n) $ 에서 양의 정부호 라면 함수 $f(x)$ 는 볼록하고, 모든 고유값이 어떤 양수 $\delta$ 보다 크면, 순볼록이다.
머신러닝에서는 엄청많은 변수로 손실함수를 만들고, 이들의 이계도함수를 계산하는 것은 거의 불가능하기 때문에, 일계도함수를 통해 가장 오차를 가파른 방향으로 떨어트린다. 그후 다음 스텝에서 새로운 방향으로 다른 하강을 한다.
타원 $ax^2 + 2bxy + cy^2 = 1$
양의 정부호 행렬 $S$ 에서, 에너지 $E = x^TSx$ 의 그래프는 아래로 볼록한 그래프이고, $E = 1$ 로 자르면 절단면의 가장자리 곡선은 타원이다. $5x^2 + 8xy + 5y^2 = 1$
$ S = \begin{bmatrix} 5 & 4 \\ 4 & 5 \\ \end{bmatrix}$ 에서, 고유벡터를 정규직교로 만들어 $S = Q\Lambda Q^T$ 로 나타내면 $E$ 는
$E = x^TSx = $ 제곱합 $5x^2 + 8xy + 5y^2 = 9(\frac{x+y}{\sqrt{2}})^2 + 1(\frac{x-y}{\sqrt{2}})^2$
9, 1 은 $\Lambda $ 에서, 제곱안에는 $q_1 = \frac{(1,1)}{\sqrt{2}}$, $q_2 = \frac{(1,-1)}{\sqrt{2}}$ 으로부터 나온다.
이는 $S = Q\Lambda Q^T$ 가 축의 방향과 길이를 표시하는지를 나타낸다.
모든 $\lambda_i$ 가 양수일때, $S = Q\Lambda Q^T$ 는 양의 정부호 행렬이고, $x^TSx = 1 $ 의 그래프는 타원이고, 타원의 축은 $S$ 의 고유벡터를 따른다.
타원 $\begin{bmatrix} x & y \\ \end{bmatrix}Q\Lambda Q^T \begin{bmatrix} x \\ y\end{bmatrix} = \begin{bmatrix} X & Y \\ \end{bmatrix} \Lambda \begin{bmatrix} X \\ Y \end{bmatrix} = \lambda_1 X^2 + \lambda_2 Y^2 = 1 $
https://jamboard.google.com/d/1BET382pWcVG4bri31ijboCf0Ht_vWTAZQ-WNc4Rrs8Y
로그인 - Google 계정
하나의 계정으로 모든 Google 서비스를 Google 계정으로 로그인
accounts.google.com
'선형머수학' 카테고리의 다른 글
| 9. 주성분과 최적의 낮은 랭크 행렬 (0) | 2022.04.15 |
|---|---|
| 8. 특이값과 특이벡터 (0) | 2022.04.13 |
| 6. 고유값과 고유벡터 (0) | 2022.04.11 |
| 5. 직교행렬과 부분공간 (0) | 2022.04.09 |
| 4. 소거법과 $A=LU$ (0) | 2022.04.09 |