[ML][GAN][paper] cycleGAN

Goal : pix2pix와 cycleGAN 비교하며 이해하기

CycleGAN(이하 싸이클)은 도메인 사이의 style transfer에 사용되는 GAN입니다. 스타일 변환 과정은 비지도학습으로 수행됩니다. 즉, 두 도메인 모두에서 영상을 일대일 매핑하지 않습니다. 싸이클은 Unpaired Data를 사용합니다. pix2pix는 {스케치, 사물이미지}의 paired data를 사용합니다. 사물의 경우 스케치를 그리는 것은 상대적으로 쉽습니다 하지만 싸이클은 style transfer를 하기 위함이기 때문에, 말의 무늬를 얼룩말로 바꾸려고할 때 말과 똑같은 포즈를 하고 있는 얼룩말의 사진을 구하는 것은 어렵습니다. 따라서 싸이클은 unpaired data를 사용해서 학습하는 방법을 소개합니다.

싸이클의 네트워크는 ‘오리지널 도메인의 이미지에 있는 개체’를 이해하고 ‘대상 도메인의 이미지에 있는 동일한 개체’의 모양과 일치하도록 필요한 변환을 적용합니다.

싸이클은 G: X -> Y와 F : Y -> X 두 개의 mapping function이 있고, F(Y)를 판별하는 Dx와 F(X)를 판별하는 Dy가 있습니다. 논문에서는 두 가지의 loss를 사용합니다. 하나는 생성된 이미지의 분포를 대상 도메인의 데이터 분포와 일치시키기 위한 Adversarial loss입니다. 두

  1. !pip install -r requirements.txt
    • -r, –requirement Install from the given requirements file. This option can be used multiple times.
  2. !bash ./datasets/download_pix2pix_dataset.sh facades

Categories:

Updated:

Leave a comment