1. 행렬 $A$ 의 열을 이용한 곱셈 $Ax$

---

1. $Ax = b$
2. $Ax = \lambda x$
3. $Av  = \sigma w$ 
4. $||Ax||^2 / ||x||^2$ 의 최소화
5. 행렬 A를 분해

---

1. $Ax = b$

 

행렬 $A = \begin{bmatrix} 2 & 3 \\ 2 & 4 \\ 3 & 7 \\ \end{bmatrix}$ , 벡터  $x = \begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix}$ 의 곱셈은

행을 이용 : 행, 열의 내적 $행 \cdot 열 = (2, 3) \cdot (x_1, x_2) = 2x_1 + 3x_2$

열을 이용 : 열의 일차 결합 $x_1\begin{bmatrix} 2 \\ 2 \\ 3 \end{bmatrix}+x_2\begin{bmatrix}3 \\ 4 \\ 7 \end{bmatrix}$

으로 나타낼 수 있다.

 

• $Ax$ 는 행렬 $A$ 의 열의 일차결합이다.

 

이로 인해 $Ax$ 는 행렬 $A$ 의 열공간으로 이어진다.

 

• 일차 결합 $Ax = x_1a_1 + x_2a_2$ 는 3차원 공간에서 어느 부분을 생성하는가?

 

$Ax = x_1a_1 + x_2a_2$ 는 평면을 생성한다. $a_1 = (2,2,3)$ 방향의 모든 직선과, $a_2 = (3,4,7)$ 방향의 모든 직선을 포함하는 무한 평면을 채운다.

행렬 A의 열의 일차결합은 A의 열공간을 모두 채운다.

$(x_1, x_2)$ 가 $Ax=b$ 의 해이면, $b=(b_1, b_2, b_3)$은 행렬 $A$의 열공간이다.

 

EX) $b=\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}$ 이면, b는 열공간 $C(A)$의 원소가 아니다.

EX) $A_2=\begin{bmatrix} 2 & 3 & 5 \\ 2 &4&5 \\ 3&7&10 \end{bmatrix}$ 와, $A_3=\begin{bmatrix} 2 & 3 & 1 \\ 2 &4&1 \\ 3&7&1 \end{bmatrix}$ 의 열공간은, $A_2$ 은 새로운 열이 $a_1+a_2$ 으로 이전 열의 일차결합으로 평면에 포함된다. 따라서 열공간은 그대로이고, $A_3$ 의 열공간은 새로운 열이 $C(A)$ 에 포함되지 않기 때문에, $C(A_3)$ 은 $C(A)$ 보다 커야하고, 이는 공간 $R^3$ 전체이다.

---

$R^3$의 부분공간

• 영벡터 (0,0,0) 자기 자신
• 모든 벡터 $x_1a_1$ : 직선
• 모든 벡터 $x_1a_1 + x_2a_2$ : 평면
• 모든 벡터 $x_1a_1 + x_2a_2 + x_3a_3$ : $R^3$

이때 $a_1, a_2, a_3$ 은 독립(Independent)이다.

 

• $R^3$ 의 일차독립인 세 벡터는 가역행렬을 생성한다. ( $AA^{-1} = A^{-1}A = I$ ) 
• $Ax =0$의 해는 $x = (0,0,0)$ 이 유일하다. $Ax=b$의 유일한 해는 $x = A^{-1}b$ 이다.

n x n 가역행렬의 열공간은 $R^n$ 과 같다.

 

---

행렬 A의 독립인 열과 랭크

 

행렬 A 를 두행렬의 곱셈 $C \times R$ 으로 분해할 수 있고, 행렬 $C$의 열은 모두 일차 독립이다.

• $A$ 의 1열 성분에 0 이아닌 성분이 있으면, 행렬 $C$ 에 포함한다.
• $A$ 의 2열 성분이 1열에 상수를 곱한 것이 아니면, 행렬 $C$에 포함한다.
• $A$ 의 3열이 1열과 2열에 일차결합이 아니면, 행렬 $C$에 포함한다. 이 작업을 계속한다.
• 마지막에 $C$ 는 $r(r \leq n)$ 개의 열이 된다.
• 이 $r$개의 열은 $A$의 열공간의 기저(basis) 이다.
• $A$의 나머지 열은 $C$의 $r$ 개의 기본 열의 일차 결합이다.

$r$ 은 $A$의 랭크이자 $C$ 의 랭크이다. 랭크는 일차 독립인 열의 개수와 같다.

행렬의 랭크는 열공간의 차원이다.

 

$C$의 열의 일차결합은 $A$의 열을 생성한다.$A=CR$은 이 정보를 행렬 곱으로 저장한다.

 

"$R =$rref($A$) $=$ 행렬 A의 기약행 사다리꼴"

 

- 랭크 정리
일차 독립인 열과 일차 독립인 행의 개수는 같다.

행렬 $R$ 은 $r$ 개의 일차독립인 행이 있고, $R$ 에 $C$를 곱하면, 이 행들의 일차결합을 얻는다. $A = CR$ 이므로, $A$의 모든 행은 $R$의 $r$개의 행에서 생성된다.

즉, 열공간의 기저는 $R$의 $r$개의 열이고, 행공간의 기저는 $C$의 $r$ 개의 행이다.

 

행렬분해 $A=CMR$

랭크 $r$ 인 $A$ 에 대해서 $M$ 은 r x r 혼합 행렬(mixing matrix) 이다. 가역행렬 $M$은 행렬 분해 $A=CMR$을 생성한다. $R$의 행은 $MR$ 로부터 얻는다. $M$ 을 찾기위해서는 한쪽방향에서만 구할수 있다.

$A=CMR$, $C^TAR^T= C^TCMRR^T$, $M=(C^TC)^{-1}(C^TAR^T)(RR^T)^{-1}$

$C^TC$, $RR^T$ 는 랭크가 $r$ 이므로 가역행렬 이다.

 

 

행렬분해 $A=CR$, $A=CMR$ 의 중요성

 

A 에서 C 의 열과 R 의 행을 바로 구할수 있고, 유명한 분해인 QR, SVD 에서는 잃어버리는 성질을 유지하기 때문에 중요하다. $A= QR$, $A= U \Sigma V^T$ 는 수직인 벡터를 포함하고 원래 데이터는 잃어 버릴수 있다.

 

A의 성분이 모두 음수가 아니면, $C$ , $R$ 의 성분도 음수가 아니고, $A$ 가 희소행렬(sparse matrix) 이면, $C$, $R$ 도 희소행렬이다.

 

 

 

---

연습 문제

https://jamboard.google.com/d/1SNnDJFBtUm7w_-uQOt7OjnSKVxhWcAI3BWFx4BJIQXI

로그인 - Google 계정