모드 붕괴 Mode Collapse

모드붕괴Mode Collapse는 GAN을 훈련할 때 자주 맞닥뜨리는 현상이다.

이는 생성기Generator가 다양한 이미지를 생성하는 것이 바람직하지만, 오직 한 종류의 이미지만 생성하게 되거나, 선택지의 극히 일부만 만들게 된다.

모드붕괴Mode Collapse의 원인에 대해서 명확하게 이해된 바는 없지만, 그럴듯한 이론은

생성기Generator가 판별기Discriminator보다 앞서간 후, 항상 판별기의 Target에 가깝게 결과가 나오는 '손쉬운 이미지'를 그 이미지만 계속 만들어내게 된다는 것이다.

GAN에서는 훈련의 양보다는 질이 중요하고, 그 질은 생성기와 판별기의 적절한 균형을 유지하는 것이다.

훈련의 질을 높이기 위해서는 Loss Function, Activation Function, Learning Rate Scheduling 을 고려하는 것이 좋다.

LOSS Function은 0~1사이의 연속적인 분포를 나타내는데 이점을 가진 MSE보다는, 0 or 1 값을 판별하는데 이점을 가지는 Cross Entropy 함수를 사용한다.

Activation Function은 보통 큰 값에 대해 기울기 소멸에 대한 해결과, 0보다 작은 값에 대한 기울기 소멸을 해결한 LeakyReLu를 사용한다.