펭수네

정확도를 높일 수 있는 기술 : 앙상블 학습, 학습률 감소, 데이터 확장 등 데이터 확장 : 기존 입력데이터를 알고리즘을 동원해 인위적으로, 회전, flip, crop 등 하여 이미지를 확장시키는 방법. 층을 깊게 하는이유 :: 이점 : 깊은 신경망은 깊지않은 신경마보다, 적은 매개변수로 같거나 높은 수준의 표현력을 지닌다. ex) 5x5 합성곱 1회, 3x3 합성곱 2회 -> 매개변수 수 : 25개 / 2 * 3 * 3 = 18 개, 하지만 같은 크기 영역을 대표한다. 작은 필터를 겹쳐 깊은 신경망을 만들때 장점 : 매개변수 수를 줄여 넓은 수용 영역(receptive field)를 소화 가능하다. + 층을 거듭하면서 ReLU의 활성화 함수를 합성곱 계층에 끼움으로 신경망에 '비선형'힘을 가하고 가해,..

합성곱 신경망(convolutional neural network, CNN) 다양한 곳에서 사용되고, 이미지 인식 분야에서 기초로 사용된다. 1. 전체 구조 기본 신경망 + 두개의 계층[합성곱 계층(convolutional layer), 풀링 계층(pooling layer)] 완전 연결(fully-connected, 전결합) : 인접하는 계층의 모든 뉴런과 결합 되는 연결 ex) Affine 계층 : 완전연결 신경망 기본 구조 : data - Affine - ReLU - Affine - ReLU - ... - Affine - Softmax -> 합성곱 구조 : data - Conv - ReLU - Pooling - ... - Conv - ReLU - Affine - ReLU - Affine - Softm..

오차역전파법 계산 그래프(computational graph) : 계산 과정을 그래프(노드,에지)로 나타낸 것. 계산을 그래프 왼쪽에서 오른쪽으로 진행하면, 순전파(Forward propagation) 그 반대를 역전파(backward propagation). 국소적 계산 : 각 노드간의 계산은 자신과 관련된 정보만으로 결과를 출력한다. 계산 그래프를 사용하는 이유 : 역전파를 통해서 변수의 변화에 따라 최종 결과가 어떻게 변하는지 알 수 있고, 중간 미분 결과를 공유가능하고, 다수의 미분을 효율적으로 할 수 있다. 연쇄법칙(chain rule) : 합성함수의 미분은 합성함수를 구성하는 각 미분의 곱으로 표현 가능한 성질과 동일하다. ex) x + y = t , t**2 = z 라고할때, dz/dx = ..

데이터 주도학습 : 알고리즘을 밑바닥부터 설계하는 대신, 데이터의 특징을 추출하고 그 특징의 패턴을 기계학습 기술로 학습하는 방법. 신경망 : 이미지의 특징을 사람이 설계하지않고, 기계가 스스로 중요한 특징을 학습한다. 훈련 데이터와 시험 데이터 : 훈련한 모델의 범용능력을 제대로 평가하기 위해, 훈련 데이터와 시험 데이터를 분리한다. 오버피팅 : 특정 데이터셋을 제대로 맞추지만, 다른 데이터셋에 엉망인 상태. 지나치게 한 데이터셋에 최적화 상태. 손실함수 : 최적의 매개변수 값을 탐색하기 위한 기준이 되는 지표. 평균제곱오차(Mean Squared Error, MSE) : 가장 많이 쓰이는 손실함수로 (출력값 - 정답) ** 2 의 총합 형태로 나타낸다. 교차 엔트로피 오차(Cross Entropy E..

퍼셉트론 알고리즘 : 신경망(딥러닝)의 기원이 되는 알고리즘으로, 다수의 신호를 입력받아 하나의 신호를 출력한다. 다수의 입력에 각각의 가중치를 곱한 값이 임계치를 넘어설 때 1 , 넘어서지 못할때 0 을 출력한다. ex) y = 0 (w1x1 + w2x2 theta) 임계치를 편향으로 변경가능하다. ex) y = 0 (b + w1x1 + w2x2 0 ) (theta = -b) 이를통해 AND, NAND, OR 게이트를 표현하는 퍼셉트론을 만들 수 있다. 퍼셉트론은 선형을 띄어 XOR 게이트를 표현 불가능 하지만, 층을 쌓아 다층 퍼셉트론(multi-layer perceptron)을 만들어 더 다양한 것들을 구현 가능하게 한다. 신경망 : 입력층 , 은닉층 ,출력층으로 나뉘어진 다층 퍼셉트론. 활성화 함..