Take Home 🏠

GANs는 latent noise를 데이터로 transform 하는 generator를 학습하여 training set과 구분할 수 없는 결과를 생성한다. 여기서 generator는 real 데이터와 fake(synthesized) 데이터를 구분하도록 학습되는 discriminator를 사용하여 학습된다. Generator는 생성된 데이터가 discriminator가 구분할 수 없을만큼 “real”하게 만들도록 학습된다.

이러한 학습 방법을 구현한 오리지널 loss 함수는 생성된 데이터가 real인지 fake인지 구분하기 쉽다면 training signal이 약하다는 문제가 있었다. 이러한 문제는 일관성 있는 training signal 을 제공하도록 고안된 Wasserstein GAN 연구를 이끌어냈다.

본 챕터에서는 이미지를 생성하는 여러 CNN 기반의 GAN 모델들을 살펴보고 progressive growing, mini-batch discrimination 그리고 truncation 과 같은 생성된 이미지의 품질을 향상 시키는 여러 트릭들도 공부한다. Conditional GAN, CGAN 아키텍처는 출력 결과를 제어(e.g. 생성할 object의 class)할 수 있도록 auxilary vector를 제안한다. Image translation task는 이러한 **“condition”**을 이미지의 형태로 받고 noise는 무시한다. 여기서 discriminator는 생성된 이미지가 더욱 “realistic” 하도록 학습하는 loss term으로 사용된다.

마지막으로 StyleGAN을 소개한다. 이는 noise, 즉 latent variable 을 style과 noise로 나누어 각 scale 별로 제어하기 위해 이들을 적절히 활용한다.

Preface

Generative adversarial network 혹은 GAN 은 학습 데이터와 구별하기 어려운 (indistinguishable) 새로운 샘플을 생성하는 unsupervised model이다. GANs 들은 새로운 샘플들을 생성하는 메커니즘일 뿐이고 모델링된 데이터의 probability distribution 을 구하지는 않는다. 그래서 새로운 데이터 (data point) 가 학습 데이터의 분포에 속하는지에 대한 확률을 구할 수 없다.

GAN은 메인 generator 네트워크가 random noise 로부터 output data space 로의 맵핑을 통해 새로운 데이터 (e.g. 이미지) 를 생성한다. 만약 discriminator 가 생성한 데이터와 학습 데이터와 구분하지 못한다면 생성된 데이터는 그럴듯하게 잘 (plausible) 생성된 데이터일 것이다. 만약 discriminator 가 생성한 데이터와 학습 데이터를 구분할 수 있다면, 이는 생성된 데이터의 품질을 향상 시키도록 training signal 로 사용된다. 이러한 아이디어는 간단하지만 GANs 을 학습시키는 것은 쉽지 않다. 학습 알고리즘이 불안정할 수 있고 만약 GAN 이 충분히 plausible 한 데이터를 생성하더라도 이러한 사실이 GAN이 가능한 “모든” 데이터 샘플을 생성할 수 있다고 보장하기 어렵다.

GANs 은 다양한 종류의 데이터에 적용될 수 있다. 가령, audio, 3D model, text, video 또한 graph 가 있다. 하지만 GANs 은 실제 이미지와 구분하기 어려울 정도의 이미지를 생성하여 이미지 도메인에서 가장 큰 성공을 거두었다. 본 챕터는 이미지 도메인을 위주로 설명한다.

15.1. Discrimination as a signal

GAN의 목표는 real training data, $\{ \bold{x}_i \}$ 와 같은 distribution 에서 뽑은 듯한 새로운 sample, $\{ \bold{x}_j^* \}$ 를 생성하는 것이다. 새로운 샘플 데이터, $\bold{x}_j^*$ 는 다음과 같은 과정을 거쳐 생성 된다.

1. 간단한 base distribution (e.g. normal distribution) 으로 부터 latent variable, $\bold{z}_j$ 를 sampling 하고
2. sampling 된 $\bold{z}_j$ 를 파라미터, $\bold{\theta}$ 를 갖는 generator 에 입력으로 주어 새로운 샘플을 생성한다. $\bold{x}^* = g[\bold{z}_j^*; \theta]$

학습 시에는 샘플링된 데이터, $\bold{x}_j^*$ 가 real data, $\bold{x}_i$ 와 비슷하게 (”similar”) 보이도록 하는 파라미터, $\theta$ 를 찾는 것이다. (See Fig. 14.2a)

Similarity 는 다양하게 정의될 수 있지만, GAN은 생성된 샘플은 통계적으로? (statistically) real data 와 구분할 수 없어야 한다 (indistinguishable) 는 원칙을 따른다. 이를 위하여 discriminator 라 불리는 두번째 네트워크, $f[\bullet, \phi]$ 가 소개되었다. Discriminator 의 목표는 input이 real data 인지 생성된 샘플인지는 분류하는 것이다. 만약 real data ↔ generated sample 를 구분할 수 없다면, 우리는 성공적으로 GAN을 학습했다고 볼 수 있다.

Fig. 15.1 은 이러한 과정 (scheme) 을 보인다.