펭수네

$Ax =b$ 의 해를 구할때, 소거법의 경우 대부분 정확한 해를 계산할 수 있었다. 하지만, 방정식이 너무많거나 ( $m > n$ ), 정사각행렬이 특이행렬이거나, 행렬 $A$ 의 조건이 매우 좋지 않거나, 너무 크면 해를 구하지 못할 수 있다. 딥러닝에서는 해가 너무많은데, 실험데이터를 일반화할 수 있는 하나의 해를 정한다. 모든 행렬 $A = U\Sigma V^T$ 에는 유사역행렬 pseudo inverse $A^+ = V \Sigma^+ U^T$ 가 존재한다. 유사역행렬은 $Ax = b$ 의 해를 구하는 하나의 방법이다. 행렬 $A$ 가 적당한 크기의 정사각 가역행렬이고, 행렬의 조건수 condition number $simga_1 / simga_n$ 이 너무 크지않다면, 행교환을 포함한 소거법을..

행렬분해를 더 넓은 관점에서, 텐서로 확장한다. - 음이 아닌 행렬 : $U \geq 0$, $V \geq 0$ 일때, $\min ||A-UV||_F^2$ 이다. - 희소하고 음이 아닌 행렬 : $U \geq 0$, $V \geq 0 $ 일때, $\min ||A-UV||_F^2 + \lambda ||UV||_N$ 이다. - $CP$ 텐서 분해 : $\min ||T - \sum_{i=1}^R a_i \circ b_i \circ c_i ||$ 위 분해를 행렬에 적용하고, 텐서 $T$ 에도 적용한다. 행렬은 2방향 텐서이다. 음이 아닌 행렬 분해 NMF NMF 의 목표는 음이아닌 두행렬 $U, V \geq 0$ 의 낮은 랭크 곱샘 $UV$ 로 음이 아닌 행렬 $A \geq 0 $ 을 근사하는 것이다. 낮은 랭..

강의 내용 https://ocw.mit.edu/courses/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/resources/lecture-8-norms-of-vectors-and-matrices/ Lecture 8: Norms of Vectors and Matrices | Matrix Methods in Data Analysis, Signal Processing, and Machine Learning | Mathematic Description A norm is a way to measure the size of a vector, a matrix, a tensor, or a function..

행렬 $A$ 의 특이값을 구하기위해 $\frac{||Ax||^2}{||x||} = \frac{x^TSx}{x}$ 를 최대화 했었다. $R(x) = \frac{x^TSx}{x}$ 를 레일리 몫 Rayleigh quotient 라고한다. $R(x)$ 의 최대값은 행렬 $S$ 의 가장 큰 고유값 $\lambda_1$ 과 같다. $R(x)$ 의 최소값은 행렬 $S$ 의 가장 작은 고유값 $\lambda_n$ 과 같다. 두 고유값 사이에 있는 고유값에 해당하는 고유벡터들은 모두 $R(x)$ 의 안장점 이다. 안장점들은 1계도함수의 값이 0 이지만, 최대나 최소가 되지 않는 점이다. 안장점은 $x = q_k$ 에 모든 $i$ 에 대해서 $\frac{\partial R}{\partial x_i} = 0$ 을 만족할때..

강의 내용 https://ocw.mit.edu/courses/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/resources/lecture-7-eckart-young-the-closest-rank-k-matrix-to-a/ Lecture 7: Eckart-Young: The Closest Rank k Matrix to A | Matrix Methods in Data Analysis, Signal Processing, and Machine Learn Description In this lecture, Professor Strang reviews Principal Component Analysi..

강의정리 $m$ x $n$ 행렬 $A$ 에 대해서 $A^T A$ 는 대칭인 양의 정부호 행렬 Symetric Positive Definte 이다. ( 열이 독립인 가정하에. ) $A^T A = V\Lambda V^T $ ($n$ x $n$) 로 표현할 수 있고, $V$ 는 고유벡터, $\Lambda$는 고유값으로 나타낼 수 있다. 여기서 고유벡터들은 정규직교하고 고유값은 0 보다 크다. ( 대칭인 양의 정부호 ) 다른 대칭행렬 $AA^T = U\Lambda U^T$ ( $m$ x $m$ ) 로 표현할 수도있다. 여기서 고유값은 $A^TA$ 와 동일하지만 $\Lambda$ 행렬은 $m$ x $m$ 이다. 따라서 부족한 대각성분은 0 으로 채워진다. 우리가 찾으려는 것은 아래 식이고, $r$ 은 Rank 이..

대칭인 양의 정부호 행렬은 모든 고유값이 양수 에너지 $x^TSx$ > 0 ( $x \neq 0 ) $ $S = A^TA$ ( $A$ 의 col 은 독립 ) 행렬식 > 0 ( 모든 leading 행렬의 행렬식 ) 소거법 elimination 에서 모든 pivots ( 주축들 ) > 0 을 만족한다. $S$ 와 $T$ 가 양의 정부호 행렬일 때 $S + T$ 는 양의 정부호행렬인가? -> $x^T(S+T)x = x^TSx + x^TTx > 0$ yes! $S^{-1} 은 양의 정부호행렬인가? -> $S^{-1}$ 의 고유값은 $\frac{1}{\lambda}$ 임. yes! $Q^TSQ$ 는 양의 정부호 행렬인가? -> $Q^{-1}SQ$ 는 $S$ 와 닮음이고 고유값이 같다. yes! $x^TQ^TSQx..

행렬 $A$ 에 고유벡터를 곱하면, 방향이 변하지 않는 성질을 가진다. $x = A$ 의 고유벡터, $\lambda = A$ 의 고유값 $Ax=\lambda x$ 고유벡터 $x$ 는 단지 고유값 $\lambda$ 만 곱한 형태라, $A^2$ 의 고유벡터도 $x$ 로 동일하다. $k=1 \cdots $ 에 대해 $A^kx = \lambda^k x $ 이고, $\lambda \neq 0$ 에 대해 $A^{-1}x = \frac{1}{\lambda}x$ 이다. 그래서 $\lambda= 0 $ 인경우 $A$ 의 역행렬은 없다. 또한 행렬을 지수화한 $e^{At}x$ 에서도 $e^{\lambda t}x$ 으로 변환된다. 대부분의 $n$ x $n$ 행렬에는 $n$ 개의 독립인 고유벡터 $x_1 \cdots x_n$..

직교 orthogornal 서로 직교인 벡터 $x$ , $y$ 는 $x^Ty = x_1y_1 + \cdots + x_ny_n = 0 $ 으로 판정한다. $x$, $y$ 가 복소 성분을 포함하면 $\bar{x}^T y = 0 $ 으로 판정한다. 부분 공간의 직교 기저 : 모든 벡터 $v_i^T v_j = 0 $ 을 만족한다. $i \neq j $ 정규 직교 기저 : $v_i^T v_i$ = 1 인 직교 기저, 직교 기저를 정규 직교 기저로 만들려면 각 벡터를 $||v_i||$ 으로 나눈다. 직교 부분공간 orthogornal subspace $R$, $N$ : 공간 $R$ 의 모든 벡터는 공간 $N$ 의 모든 벡터는 직교한다. $Ax=0$ 에서 행공간과 영공간은 직교한다. $A$의 각행과 $x$ 의 곱은 ..

기본적인 문제 $Ax = b$ 의 해를 구하기 위해, 대수적으로 방정식을 단순화 하여 문제를 해결하는 법을 알아본다. $n$ x $n$ 행렬 $A$ 와 $n$ x $1$ 열벡터 $b$ 가 있을때, $x_1$ ~ $x_{n-1}$ 까지 소거해 $A_n x_n = b_n$ 을 얻고, 차례로 $x_2$, $x_1$ 을 구할 수 있다. 이 과정을 랭크가 1인 행렬 관점에서 소거법을 살펴보면, 위의 과정은 행렬 $lu^*$ 를 제거하는 과정이다. 행렬 $A$는 랭크가 1 인 행렬들의 합이고 이는 $A=LU$로 표현할 수 있다. ( $L$ : 하삼각행렬, $U$ : 상삼각행렬 ) $A=LU$는 행교환이 없는 소거법 행렬의 표현으로, 대수학적 접근이다. ( 연립방정식 ) EX) $ \begin{bmatrix} 1 &..