DCGAN(Deep Convolutional Generative Adversarial Networks)

- 기존의 GAN

GAN

기존의 GAN과 같은 생성모델은 레이어를 Dense층으로 연속해서 쌓아서 간단하게 Fully-connected로 연결되어 있고, 
생성자는 계속해서 랜덤 노이즈값을 변환해 이를 판별자 모델에게 넘기고, 판별자는 진짜인지 가짜인지 판별하여 여기서 나오는 loss값으로 학습하여 만드는 과정.

GAN의 모델

 

---

- What is DCGAN(Deep Convolutional Generative Adversarial Networks)

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks - Alec Redford et al. (2016)

DCGAN은 Fully-connected 구조의 대부분을 CNN 구조로 바꾼 Deep Convolution GAN.

랜덤 노이즈 값을 넣어 배치노멀라이즈하면서 업샘플링과 컨볼루션을하고,
Discriminator에서는 컨볼루션 하면서,

기존의 GAN과 같이 마지막 출력층에 Flatten을 하여 출력 아웃풋을 1로 설정해 판별.

Generator

Fractionally Strided Convolution (Transposed convolution)

기존의 convolution에서는 필터를 거치면서 크기가 점점 작아지고, 깊어지는 특징이 있는데, 
Generator에 들어가는 convolution은 input에 패딩을 하면서 convolution을 하기에 크기가 점점 커지는 특징이 있음.
이를 Fractionally Strided Convolution, Transposed convolution 이라고 함.

 

- DCGAN의 목표는 Generator가 이미지를 단순하게 외워서 보여주는 것이 아니란 것을 확인시켜줘야한다.

  (memorization이 일어난 것이 아님)

- Generator의 input 공간인 latent space(z space)에서 움질일 때,

  급작스러운 변화(sharp transition)이 일어나는 것이 아닌, 부드러운 변화를 보여줘야함.

  논문에서는 이를 “walking in the latent space”라고함.

 

 

DCGAN 모델

생성자 모델에서는 배치노말라이즈와 업샘플링, 컨볼루션을 쓰는데,

여기서 UpSampling2D는 내부적으로 resize_images() 를 호출하여 적은 해상도를 강제로 고해상도로 올려 단순히 잡아 늘리는 역할이라, 곧바로 다음 레이어에 Conv2D의 함수가 호출되어야 한다고함.

판별자 모델은 일반적인 cnn모델 구조를 가지고 있음.  
판별자 모델을 보면 각 특징을 맡고 있는 필터를 드랍아웃 시켜서 실제 이미지에서 해당 특징을 지우는데, 
역설적으로 학습과 삭제를 같이 하면서 성능은 더 올라간다고함.

아래는 128*128로 사진을 전처리해서 학습과정을 저장하였음.
DCGAN은 부드러운 변화를 보여 주면서, 생성자가 단순하게 이미지를 외우는 것이 아니라 학습되는 것을 보여줌.