Upgrade to Pro — share decks privately, control downloads, hide ads and more …

A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18)

A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18)

68753ad1beb5f665fa03ade3278f9e33?s=128

Yamato.OKAMOTO

January 26, 2019
Tweet

Transcript

  1. NeurIPS 2018 読み会 @PFN 岡本⼤和 2019/01/26 A Unified Feature Disentangler

    for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18) https://neurips.cc/ https://connpass.com/event/115476/
  2. ⾃⼰紹介 岡本⼤和(おかもとやまと) l 京都⼤学でパターン認識を専攻して修⼠課程修了 (2013) l 卒業後はオムロンで技術起点の事業創造を担当 (2013~) l 夢は京都をポスト・シリコンバレーにすること

    twitter RoadRoller_DESU @ICDMʼ18 Banquet
  3. 本⽇紹介する論⽂ A Unified Feature Disentangler for Multi-Domain Image Translation and

    Manipulation (NeurIPSʼ18) Alexander H. Liu, Yen-Cheng Liu, Yu-Ying Yeh, Yu-Chiang Frank Wang National Taiwan University, Georgia Institute of Technology, University of California, MOST Joint Research Center for AI Technology and All Vista Healthcare なぜこの論⽂を選んだのか? - 特徴量を分離する『Feature disentangle』が最近盛り上がっているから - NeurIPS2018で『disentangle』をタイトルに含む論⽂は約10件あった - 関⻄CVPRML勉強会で紹介されたCVPRʼ18の論⽂を読んで興味を持った https://www.slideshare.net/atsushihasimoto/cvprml-cvpr2018-feature-disentangling
  4. Motivation ごちゃまぜの特徴量を分離/整理して取り出したい (disentangle) ①ドメイン特徴量、②それ以外(=ドメイン不変な特徴量) Unsupervised Domain Adaptation Cross-domain image translation

    http://openaccess.thecvf.com/content_cvpr_2017/papers/Tzeng_Adversarial_Discriminative_Domain_CV PR_2017_paper.pdf http://sse.tongji.edu.cn/linzhang/CV/ReadingMaterials/Image-To-Image_Translation.pdf
  5. Related Work Adversarial Discriminative Domain Adaptation(CVPRʼ17) どちらのドメインから抽出した特徴量なのか区別できないよう敵対学習 ドメインが異なっても同じような特徴量分布となるため識別器を共有可能 この⼿法の課題 ドメイン特徴量の分布を寄せる過程で、

    意味ある情報( semantic information )を損失しているリスクがある。 Unsupervised Domain Adaptation
  6. Related Work この⼿法の課題 ドメイン特徴量の分布を寄せる過程で、 意味ある情報( semantic information )を損失しているリスクがある。 Unsupervised Domain

    Adaptation 補⾜︓こんな感じ 0~9の⽂字クラスの特徴量分布 ドメイン(⾚と⻘)が異なると、 分布が若⼲異なる。 これが重なるよう調整する。 http://proceedings.mlr.press/v37/ganin15.pdf
  7. Related Work Image-to-Image Translation with Conditional Adversarial Networks (CVPRʼ17) 2ドメインの画像ペアについて敵対学習する。

    Image Translationで⽣成した画像ペアだと⾒抜かれないよう学習する。 この⼿法の課題 2ドメイン専⽤⼿法なので拡張性が低い。 マルチドメインに展開した場合は計算量が膨⼤になる。 Cross-domain image translation
  8. Key Idea Unified Feature Disentangle Network (UFDN) 敵対学習を利⽤して特徴量を分離する ドメイン特徴量を拡張可能なvector表現にしてマルチドメイン対応 ⾃⼰符号化器を添えることで情報損失を防ぐ

  9. Key Idea (detail)

  10. Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい

  11. Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする

  12. Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする

    Dv はzからドメイン識別できるように学習、 Encoderはドメイン識別されないような特徴量 z を抽出できるよう学習
  13. Key Idea (detail) zからドメイン識別できなくなれば、 つまり、zはドメイン不変の特徴量︕

  14. Key Idea (detail) しかし、ドメイン識別できないようにするなら 特徴抽出するとみせかけて、 ノイズ出⼒するだけでも達成されてしまう zからドメイン識別できなくなれば、 つまり、zはドメイン不変の特徴量︕

  15. Key Idea (detail) しかし、ドメイン識別できないようにするなら 特徴抽出するとみせかけて、 ノイズ出⼒するだけでも達成されてしまう zには、ドメイン以外の情報が 損失なく保存されるような⼯夫が必要 zからドメイン識別できなくなれば、 つまり、zはドメイン不変の特徴量︕

  16. Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ

  17. Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ ただしzは 先ほどの敵対学習により ドメイン不変である つまり、

    ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が⾜りない。
  18. Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ ドメインを⽰すvectorをzに加算(concat)してReconstructionする。 ドメイン情報を加えるだけでReconstructionに成功したならば、 ドメイン以外の情報はzに保存されていると⾔える。 ただしzは

    先ほどの敵対学習により ドメイン不変である つまり、 ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が⾜りない。
  19. Key Idea (detail) 補⾜︓ ドメインを⽰すvectorは、具体的にはone hot vectorを利⽤ 例) ドメイン1 ⇒

    [1, 0, 0] ドメイン2 ⇒ [0, 1, 0] ドメイン3 ⇒ [0, 0, 1]
  20. Key Idea (detail) ドメイン以外の情報がzに保存されているならば、 ウソのドメイン情報(vector)をzに加算すれば、 Image-translationができる

  21. Key Idea (detail) ドメイン以外の情報がzに保存されているならば、 ウソのドメイン情報(vector)をzに加算すれば、 Image-translationができる ⽣成画像の質を担保するために Real/Fakeおよび、 ドメイン識別のLOSSを設置

  22. Key Idea (detail)

  23. Experiment ① Unsupervised domain adaption 抽出したドメイン不変の特徴量zによって、 学習データとは異なるドメインのデータで数字識別タスクにチャレンジ ② image-to-image translation

    zに加えるドメイン情報(vector)を変化させることで、 様々な画像を⽣成する ① ②
  24. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN

  25. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN

    残り3パターンは どうだったんだろ・・︖
  26. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN

    →SVHN のパターンは ダメだったんだろうな…
  27. Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b)

    zをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(z)が異なり、左右⽅向ではドメイン特徴量(v)が異なる
  28. Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b)

    zをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(z)が異なり、左右⽅向ではドメイン特徴量(v)が異なる Sketch と Paint の間や、 3ドメインの中間はどうなるんだろう… [1/3, 1/3, 1/3]を⼊⼒してみたい
  29. Experiment ② image-to-image translation 画質評価(SSIM/MSE/PSNR)で従来⼿法を上回った ※これらの画像はいずれもドメイン以外の特徴量(z)は同じで、ドメイン特徴量(v)だけが異なる

  30. Conclusion • ドメイン特徴量とそれ以外に分離して抽出するUFDN⼿法を提案 Ø ドメイン情報を⽰すvectorを調整すれば簡単に複数ドメイン対応可能 Ø ⾃⼰符号化器と敵対学習によって情報損失を防ぐ • Unsupervised domain

    adaption (SVHN→MNIST)でSOTAを達成
  31. Thanks r2d.info