清大 GAN Workshop 簡記

MOST Workshop on Generative Adversarial Networks and GAN Project Competition December 22-23, 2017,
National Tsing Hua University

兩種模型

• Discriminative model => 傳統分類問題
• Generative model => 生成模型 (不只有GAN，傳統上還有 HMM…等很多生成模型)

學習的分類

• Supervised learning (傳統的定義)
• Unsupervised learning (傳統的定義)
• Structure learning (如漫畫獵人的黑暗大陸一樣，GAN如領路人帶我們走進這個新的領域)

Generative Adversarial Networks (GAN)

一般對生成模型的說明，是以Ian Goodfellow最初論文中的「做假鈔與警察」的比喻。Generator就是做假鈔的人，要想辦法無中生有做出假鈔，而Discriminator就是警察，要想辦法在真鈔、假鈔間辨認出真假。做假鈔的人與警察在對抗中，兩者都會慢慢成長，最後假鈔會十分像真鈔，而警察的分辦能力也會很強。

原始GAN的主要缺陷 (Ian Goodfellow)

1. 沒有 conditional-generation (https://youtu.be/f1KUUz7v8g4?t=14m28s)
2. 訓練穩定性不好 (無法像CNN一樣在收斂後能有穩定結果)
   • 跨架構 (architectures)
   • 跨資料集 (datasets)
   • 跨domains (time domain, frequency domain, …)
3. 沒有好的評估方式(生成結果還是要藉由人來判斷好壞)

   GAN 用來生成資料如果不能產生新的分佈，不太有幫助

有趣的研究

1. 最讓我印象深刻的是 nVidia 的 progressive GAN ，生成了以假亂真的真人照片
   Karras, Tero, et al. “Progressive growing of gans for improved quality, stability, and variation.” arXiv preprint arXiv:1710.10196 (2017).
   
   圖為論文中，Progressive 生成的圖片
2. CycleGAN = DiscoGAN
   

​