Share
Embed
A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18)
Yamato.OKAMOTO
January 26, 2019
Transcript
31 slides
-
NeurIPS 2018 読み会 @PFN 岡本⼤和 2019/01/26 A Unified Feature Disentangler
for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18) https://neurips.cc/ https://connpass.com/event/115476/ -
⾃⼰紹介 岡本⼤和(おかもとやまと) l 京都⼤学でパターン認識を専攻して修⼠課程修了 (2013) l 卒業後はオムロンで技術起点の事業創造を担当 (2013~) l 夢は京都をポスト・シリコンバレーにすること
twitter RoadRoller_DESU @ICDMʼ18 Banquet -
本⽇紹介する論⽂ A Unified Feature Disentangler for Multi-Domain Image Translation and
Manipulation (NeurIPSʼ18) Alexander H. Liu, Yen-Cheng Liu, Yu-Ying Yeh, Yu-Chiang Frank Wang National Taiwan University, Georgia Institute of Technology, University of California, MOST Joint Research Center for AI Technology and All Vista Healthcare なぜこの論⽂を選んだのか? - 特徴量を分離する『Feature disentangle』が最近盛り上がっているから - NeurIPS2018で『disentangle』をタイトルに含む論⽂は約10件あった - 関⻄CVPRML勉強会で紹介されたCVPRʼ18の論⽂を読んで興味を持った https://www.slideshare.net/atsushihasimoto/cvprml-cvpr2018-feature-disentangling -
Motivation ごちゃまぜの特徴量を分離/整理して取り出したい (disentangle) ①ドメイン特徴量、②それ以外(=ドメイン不変な特徴量) Unsupervised Domain Adaptation Cross-domain image translation
http://openaccess.thecvf.com/content_cvpr_2017/papers/Tzeng_Adversarial_Discriminative_Domain_CV PR_2017_paper.pdf http://sse.tongji.edu.cn/linzhang/CV/ReadingMaterials/Image-To-Image_Translation.pdf -
Related Work Adversarial Discriminative Domain Adaptation(CVPRʼ17) どちらのドメインから抽出した特徴量なのか区別できないよう敵対学習 ドメインが異なっても同じような特徴量分布となるため識別器を共有可能 この⼿法の課題 ドメイン特徴量の分布を寄せる過程で、
意味ある情報( semantic information )を損失しているリスクがある。 Unsupervised Domain Adaptation -
Related Work この⼿法の課題 ドメイン特徴量の分布を寄せる過程で、 意味ある情報( semantic information )を損失しているリスクがある。 Unsupervised Domain
Adaptation 補⾜︓こんな感じ 0~9の⽂字クラスの特徴量分布 ドメイン(⾚と⻘)が異なると、 分布が若⼲異なる。 これが重なるよう調整する。 http://proceedings.mlr.press/v37/ganin15.pdf -
Related Work Image-to-Image Translation with Conditional Adversarial Networks (CVPRʼ17) 2ドメインの画像ペアについて敵対学習する。
Image Translationで⽣成した画像ペアだと⾒抜かれないよう学習する。 この⼿法の課題 2ドメイン専⽤⼿法なので拡張性が低い。 マルチドメインに展開した場合は計算量が膨⼤になる。 Cross-domain image translation -
Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする
Dv はzからドメイン識別できるように学習、 Encoderはドメイン識別されないような特徴量 z を抽出できるよう学習 -
Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ ただしzは 先ほどの敵対学習により ドメイン不変である つまり、
ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が⾜りない。 -
Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 zからxを復元できるような制約によって情報損失を防ぐ ドメインを⽰すvectorをzに加算(concat)してReconstructionする。 ドメイン情報を加えるだけでReconstructionに成功したならば、 ドメイン以外の情報はzに保存されていると⾔える。 ただしzは
先ほどの敵対学習により ドメイン不変である つまり、 ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が⾜りない。 -
Key Idea (detail) 補⾜︓ ドメインを⽰すvectorは、具体的にはone hot vectorを利⽤ 例) ドメイン1 ⇒
[1, 0, 0] ドメイン2 ⇒ [0, 1, 0] ドメイン3 ⇒ [0, 0, 1] -
Experiment ① Unsupervised domain adaption 抽出したドメイン不変の特徴量zによって、 学習データとは異なるドメインのデータで数字識別タスクにチャレンジ ② image-to-image translation
zに加えるドメイン情報(vector)を変化させることで、 様々な画像を⽣成する ① ② -
Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN
残り3パターンは どうだったんだろ・・︖ -
Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN
→SVHN のパターンは ダメだったんだろうな… -
Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b)
zをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(z)が異なり、左右⽅向ではドメイン特徴量(v)が異なる -
Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b)
zをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(z)が異なり、左右⽅向ではドメイン特徴量(v)が異なる Sketch と Paint の間や、 3ドメインの中間はどうなるんだろう… [1/3, 1/3, 1/3]を⼊⼒してみたい