5. 직교행렬과 부분공간

 

직교 orthogornal 

1. 서로 직교인 벡터 $x$ , $y$ 는 $x^Ty = x_1y_1 + \cdots +  x_ny_n = 0 $ 으로 판정한다. $x$, $y$ 가 복소 성분을 포함하면 $\bar{x}^T y = 0 $ 으로 판정한다.
2. 부분 공간의 직교 기저 : 모든 벡터 $v_i^T v_j = 0 $ 을 만족한다. $i \neq j $
   정규 직교 기저 : $v_i^T v_i$ = 1 인 직교 기저, 직교 기저를 정규 직교 기저로 만들려면 각 벡터를 $||v_i||$ 으로 나눈다.
3. 직교 부분공간 orthogornal subspace $R$,  $N$ :  공간 $R$ 의 모든 벡터는 공간 $N$ 의 모든 벡터는 직교한다. $Ax=0$ 에서 행공간과 영공간은 직교한다. $A$의 각행과 $x$ 의 곱은 0 이다. 행공간의 기저가 영공간의 기저와 직교하면 모든 벡터는 직교한다.
4. 정규 직교인 열을 가지는 행렬 $Q$에서 $Q^TQ = I$ 를 만족한다. 이때 행렬 $Q$ 는 길고 얇다. ( 행보다 열이 더많다.) 행렬 $Q$ 에 어떤 벡터 $x$ 를 곱하더라도 길이는 변하지 않는다.
5. 직교 행렬 은 정규직교 열이 있는 정사각행렬 $Q$ 는  $Q^T = Q^{-1}$ 이 성립한다.
   $Q^TQ = I$ 인 정사각 행렬은 $QQ^T=I$ 이 성립한다.
   $Q$ 의 좌역행렬 $Q^T$ 는 우역행렬이다.
   $n$ x $n$ 행렬의 직교인 열들은 $R^n$ 의 정규직교기저가 되고, 행들도 $R^n$ 의 정규직교기저가 된다. 직교행렬은 실제로 정규직교행렬을 의미한다.
   
   

---

직교 벡터

 

판정식 $x^Ty = 0$ 은 피타고라스 정리와 관련이 있다. $||x-y||^2 = ||x||^2 + ||y||^2$

$||x-y||^2 = (x-y)^T(x-y) = x^Tx + y^Ty - x^Ty - y^Tx$ 으로 전개되고, $x^Ty$, $y^Tx$ 는 항상 $||x|| ||y|| \cos{\theta} $ 와 동일하다. 따라서 코사인 법칙을 만족하고, 직교하면 두 항이 0 이 된다.

 

직교 기저

 

표준 기저는 $R^n$ 에서 정규 직교한다. 

아다마르 Hadamard 행렬은 $R^2$, $R^4$, $R^8$ , ... 의 직교기저를 포함한다.

$ H_2 = \begin{bmatrix} 1 & 1 \\ 1 & -1 \\ \end{bmatrix} $,

$ H_4 = \begin{bmatrix} H_2 & H_2 \\ H_2 & -H_2 \\ \end{bmatrix} $, 

$ H_8 = \begin{bmatrix} H_4 & H_4 \\ H_4 & -H_4 \\ \end{bmatrix} $ , ...

위 행렬은 각 열의 길이가 1 이 아니기 때문에, 직교행렬은 아니다. 대신 각 길이로 나누면 간단히 정규직교기저를 찾을 수 있다.

$ H_{12} $ 행렬은 존재할까? ( 1 과 -1 로 이루어진 직교기저를 가진 행렬 ) -> 가능!

$ H_6 $ 은? -> 불가능! 왜?

$ n $ 이 4의 배수인 것들만 가능함.

$R^n$ 공간의 모든 부분공간은 직교 기저를 가진다.

$R^3$ 공간의 평면에 독립인 벡터 $a$ $b$ 에서 직교 기저 $c$ 를 얻기위해, $b$ 에서 $a$ 의 방향요소를 뺀다.

직교 기저 $a$ 와 $c$ , $c = b - \frac{a^Tb}{a^Ta}a$ 이고 $a^Tc = 0$ 이다.

이렇게 기저를 직교 기저로 바꾸는 방법이 그람-슈미트 아이디어 이다.

 

직교 부분공간

 

위에서 보았듯 $Ax = 0 $ 에서 $A$ 의 모든 행은 영공간의 벡터 $x$ 에 곱해지고 그 값은 0 이다. 각 행 ( 각 행의 모든 결합 ) 은 $N(A)$ 에서 $x$ 와 직교한다. 즉 $A$ 의 행공간과 $A$ 의 영공간은 직교한다.

동일하게, $A^Ty=0$ 에서 $A$ 의 열공간과 $A^T$ 의 영공간은 직교한다.

 

여기서 행공간 차원 $r$ 과 영공간 차원 $n-r$ 을 보면, 행공간 기저와 열공간 기저는 $R^n$ 의 모든 벡터를 생성한다.

열공간 차원 $r$ 과 좌영공간 차원 $m-r$ 도 두 공간의 기저는 $R^m$ 에서 모든 벡터를 생성한다.

 

특이값 분해는 $A$ 행공간에 대한 정규직교기저 $v1$, $\cdots$, $v_r$ 과, $A$ 열공간에 대한 $u_1$, $\cdots$, $u_r$ 을 찾는 것이다. 이는 그람-슈미트 방식으로도 가능하다.

특이값 분해로 얻은 특별한 기저는 각 쌍 ($v$, $u$) 이 $A$ 에 의해 연결된다는 특징을 추가적으로 지닌다.

특이벡터 : $Av_1 = \sigma_1 u_1$ , $Av_2 = \sigma_2 u_2$, $\cdots$, $Av_r = \sigma_r u_r$

 

정규직교인 열이 있는 길고 얇은 행렬 $Q$ : $Q^TQ = I$

 

정규 직교인 행렬 3 x 1, 3 x 2, 3 x 3 행렬 $Q_1$, $Q_2$, $Q_3$ 행렬은 모두 $Q^TQ= I$ 를 만족한다. 따라서 $Q^T$ 는 $Q$ 의 좌역행렬이다. 마지막 3 x 3 행렬 $Q_3$ 은 $Q_3 Q_3^T = I$ 를 만족해 $Q_3^T$ $Q_3$ 의 는 우역행렬도 된다.

$P=QQ^T$ 인 모든 행렬은 $P^2=P$ 를 만족한다. $P^2 = (QQ^T)(QQ^T) = Q(Q^TQ)Q^T) = QQ^T = P $

$P^2 = P$ 는 행렬 $P$ 가 사영행렬임을 의미한다. $P^2=  P = P^T$ 이면, $Pb$ 는 $P$ 의 열공간위로의 $b$ 의 직교사영이다.

$P$ 의 열공간은 $Q$ 의 열공간과 동일하다.

 

EX) $ Q_1 = \frac{1}{3} \begin{bmatrix} 2 \\ 2 \\ -1\end{bmatrix} $, $ Q_2 =\frac{1}{3} \begin{bmatrix} 2 & 2 \\ 2 & -1 \\ -1 & 2 \end{bmatrix} $ 위로 $ b =\begin{bmatrix} 3 \\ 3 \\ 3\end{bmatrix} $ 를 사영해라.

 

$P_1b = \frac{1}{9}\begin{bmatrix} 2 \\ 2 \\ -1\end{bmatrix}\begin{bmatrix} 2 & 2 & -1 \\ \end{bmatrix}\begin{bmatrix} 3 \\ 3 \\ 3\end{bmatrix} = \begin{bmatrix} 2 \\ 2 \\ -1\end{bmatrix} $ 이 값이 선위로의 정사형이다.

행렬 $P_1$ 은 $b$ 를 두 개의 수직성분 $e$ , $P_1b$ 으로 나눈다. (사영 $P_1b$ 와의 오차 $e = (I-P_1)b$ )

 

$ P_2b = Q_2Q_2^Tb = \begin{bmatrix} 4 \\ 4 \\ 1\end{bmatrix} $ 이 값이 평면 위로의 정사형이다.

여기서 $Q_2$ 에 $Q_1$ 이 포함되기 때문에, 오차 $b - P_2b$ 가 $b - P_1b$ 보다 작다.

 

$Q_3$ 에서의 정사형은 전체공간 $R^3$ 위로의 정사형이기 때문에, $b$ 그대로이다.

 

 

직교행렬 : $Q$ 는 정사각행렬이다. 따라서 $Q^T = Q^{-1}$ 이다.

 

이러한 $Q$ 는 아주 중요하다. $Q$ 가 2 x 2 이면, 평면의 회전 또는 반사를 의미한다. 

$ Q_{rotate} = \begin{bmatrix} \cos{\theta} & -\sin{\theta} \\ \sin{\theta} & \cos{\theta} \\ \end{bmatrix} $,

$ Q_{reflect} = \begin{bmatrix} \cos{\theta} & \sin{\theta} \\ \sin{\theta} & -\cos{\theta} \\ \end{bmatrix} $

각각 행렬은 $\theta$ 회전, $\frac{\theta}{2}$ 선을 경계로 반사

$Q_1$, $Q_2$ 는 서로 직교한다. $ (Q_1Q_2)^T(Q_1Q_2) = Q_2^TQ_1^TQ_1Q_2 = Q_2^TQ_2 = I $

 

---

직교 기저 는 $ R^n$ 에서 직교 축

 

$n$ x $n$ 직교행렬 $Q$ 의 열 단위벡터 $q_1$,  $\cdots$,  $q_n$ 은 $R^n$ 의 모든 벡터 $v = c_1q_1 + \cdots + c_nq_n$ 를 나타낼수 있다.

여기서 $c_iq_i$ 는 $i$ 축위에 있는 $v$ 의 성분이다. 이 말은 $i$ 축위로의 $v$ 의 정사형이라는 의미를 갖는다.

정규직교기저의 계수    $c_1 = q_1^Tv$    $\cdots$    $c_n = q_n^Tv$ 

$q_k^Tv = c_1 q_k^T q_1 + \cdots + c_k q_k^T q_k + \cdots + c_n q_k^T q_n  = c_k $, 모든 $q_k^Tv = c_k$ 이다.

행렬 방정식 $v = Qc$ 양변에 $Q^T$ 를 곱하면, $Q^Tv = Q^TQc$ 가 되고 이를 통해 한번에 정규직교계수를 구할 수 있다.

이것이 직교 기저 적용의 핵심이다. 기저벡터가 직교하면, 각 계수 $c_1$, $\cdots$ , $c_n$ 을 구할 수 있다.

 

---

하우스 홀더 반사

 

반사행렬 $Q = H_n$ 의 깔끔한 예로,  단위벡터 $u$ 에 대해서, $I - 2uu^T$ 는 하우스홀더 행렬이 된다.

하우스 홀더의 예    $u = \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix} $,    $H_n = I - 2uu^T = I - \frac{2}{n}ones(n,n) $

$H_n$ 은 대칭행렬이고, $H^2 = H^TH = (I- 2uu^T)(I-2uu^T) = I - 4uu^T + 4uu^Tuu^T = I ) $, 직교행렬이다.

직교행렬을 만들기위해 그람-슈미트보다 더간단한 방법으로 자주사용된다.

반사행렬 $H_nu = (I - 2uu^T)u = -u $, $u$ 와 직교하는 벡터 $w$ 에 대해서, $H_nw = +w$ 이다.

이 반사행렬을 포함한 모든 반사행렬은 -1 과 1 을 고유값으로 한다. 여기서 $H$ 의 고유값은 -1 ( 1개 ), 1 ( n-1 ) 개 이다.

---

웨이블릿 wavelet 행렬

 

직교 기저를 가지는 4x4 행렬을 표현할때, 디지털 신호같이

• 1 - 1 - 1 - 1
• 1 - 1 - (-1) - (-1)
• 1 - (-1) - 0 - 0
• 0 - 0 - 1 - (-1)

로 표현되어 행렬 $ W_4 = \begin{bmatrix} 1 & 1 & 1 & 0 \\ 1 & 1 &-1  & 0 \\ 1 & -1 & 0 & 1 \\ 1 & -1 &0  & -1 \\ \end{bmatrix} $ 로 표현하는 행렬이 하르 웨이블릿 Haar Wavelet 행렬이다. 1 열은 평균, 2 열은 차이, 3열은 작은부분의 차이 등등을 의미할 수 있다.

---

푸리에 행렬

 

4 x 4 푸리에 행렬 $F$ 에 대해서

$ F_4 = \begin{bmatrix} 1 & 1 & 1 & 1 \\ 1 & i & i^2 & i^3 \\ 1 & i^2 & i^4 & i^6 \\ 1 & i^3 & i^6  & i^9 \\ \end{bmatrix} $ 이고, 각 col 은 직교한다.

허수가 포함된 벡터의 직교를 확인하는 법은 내적을 할때, 켤레를 취해야한다. $\bar{c_i} \cdot c_j$

---

https://jamboard.google.com/d/13jiMd_aRPe_r5S95hDpdP0JAJCGAe_ms4lpAzdgWn_4

로그인 - Google 계정