1. 오토인코더를 활용할 수 있는 주요 작업은 무엇인가요?
- 주요 특성 추출
- 비지도 사전 훈련
- 차원 축소
- 생성 모델
2. 레이블되지 않은 훈련 데이터는 많지만, 레이블된 데이터는 수천 개 정도만 가지고 있을 때 분류기를 훈련하려합니다. 오토인코더가 어떻게 도움이 될 수 있을까요? 어떻게 작업하면 될까요?
데이터셋 ( 레이블된것 + 안된것 ) 전부 사용해서 오토인코더를 훈련시키고, 인코더부분을 분류기에 재사용한다. 레이블된 적은 데이터를 통해 분류기를 훈련시킨다. 이때 레이블 데이터가 너무적다면 재사용층을 동결시킨다.
3. 오토인코더가 완벽하게 입력을 재구성했다면, 이것이 반드시 좋은 오토인코더인가요? 오토인코더의 성능을 어떻게 평가할 수 있나요?
입력을 완벽히 재구성하면, 입력을 외워서 복사하지는 않는지 의심해볼만하다. 즉 과대완전 오토인코더일 수 있다. 하지만 재구성오차가 높은 오토인코더는 성능이 안좋은 오토인코더가 확실하지만, 낮다고해서 좋은 오토인코더임을 보장할 수 없어 사용하는 방식에 맞춰 오토인코더를 평가해야 한다.
4. 과소완전과 과대완전 오토인코더가 무엇인가요? 지나치게 과소완전인 오토인코더의 주요한 위험은 무엇인가요? 과대완전 오토인코더의 주요한 위험은 무엇인가요?
과소완전은 코딩층이 입력차원보다 낮은경우, 이때 코딩층 차원이 심하게 낮다면 입력을 재구성하는데 어려움을 겪을 수 있다.
과대완전은 코딩층이 입력차원보다 큰경우, 이때 오토인코더가 입력의 유용한 특성을 추출하지 못하고, 그대로 복사할 위험이 있다.
5. 적층 오토인코더의 가중치를 어떻게 묶나요? 이렇게 하는 이유는 무엇인가요?
인코더층의 가중치를 대칭되는 디코더층과 묶으려면, 가중치를 전치시켜서 디코더의 가중치로 사용하면된다. 그러면 모델 파라미터 개수가 절반줄고, 더 적은 훈련 데이터도 수렴이 빨라진다. 또한 과대적합의 위험을 줄일 수도 있다.
6. 생성 모델이 무엇인가요? 생성 오토인코더의 종류를 말할 수 있나요?
생성모델은 훈련샘플과 닮은 출력을 랜덤하게 생성하는 모델이다. 변이형 오토인코더
7. GAN이 무엇인가요? GAN이 유용한 몇 가지 작업을 나열할 수 있나요?
생성적 적대 신경망은, 새로운 샘플을 만드는 생성자, 만들어진 샘플과 진짜 샘플을 구별하는 판별자로 구성된다. 이 둘은 다른 목적을 가지지면서 경쟁한다. 초해상도, 컬러 바꾸기, 이미지 편집, 간단한 스케치를 실제 이미지로 바꾸기, 동영상 다음프레임 예측 등 고급 이미지 처리 작업에 사용될 수 있다. 또한 데이터 증식 등 데이터 생성, 다른 모델의 취약점을 식별하고 개선하는데 사용된다.
8 GAN을 훈련할 때 주요 어려움은 무엇인가요?
생성자와 판별자 사이의 복잡한 역학관계 때문에...
https://github.com/kimhwijin/HandsOnMachineLearing/blob/main/HOML_Exercise_17.ipynb
GitHub - kimhwijin/HandsOnMachineLearing
Contribute to kimhwijin/HandsOnMachineLearing development by creating an account on GitHub.
github.com
9. 잡음 제거 오토인코더를 사용해 이미지 분류기를 사전훈련해보세요.
10. 이미지 데이터셋을 하나 선택해 변이형 오토인코더를 훈련하고 이미지를 생성하게요. 또는 레이블이 없는 데이터셋에 새로운 샘플을 생성할 수 있는지 확인해보세요.
11. 이미지 데이터셋을 처리하는 DCGAN을 훈련하고, 이미지를 생성해보세요. 경험 재생을 추가하고 도움이 되는지 확인하세요. 생성된 클래스를 제어할 수 있는 조건 GAN으로 바꾸어 시도해보세요.