NeurIPS 2018 読み会 ＠PFN 岡本⼤和 2019/01/26 A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18) https://neurips.cc/ https://connpass.com/event/115476/

⾃⼰紹介 岡本⼤和（おかもとやまと） l 京都⼤学でパターン認識を専攻して修⼠課程修了 (2013) l 卒業後はオムロンで技術起点の事業創造を担当 (2013~) l 夢は京都をポスト・シリコンバレーにすること twitter RoadRoller_DESU @ICDMʼ18 Banquet

本⽇紹介する論⽂ A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation (NeurIPSʼ18) Alexander H. Liu, Yen-Cheng Liu, Yu-Ying Yeh, Yu-Chiang Frank Wang National Taiwan University, Georgia Institute of Technology, University of California, MOST Joint Research Center for AI Technology and All Vista Healthcare なぜこの論⽂を選んだのか? - 特徴量を分離する『Feature disentangle』が最近盛り上がっているから - NeurIPS2018で『disentangle』をタイトルに含む論⽂は約10件あった - 関⻄CVPRML勉強会で紹介されたCVPRʼ18の論⽂を読んで興味を持った https://www.slideshare.net/atsushihasimoto/cvprml-cvpr2018-feature-disentangling

Motivation ごちゃまぜの特徴量を分離/整理して取り出したい (disentangle) ①ドメイン特徴量、②それ以外(=ドメイン不変な特徴量) Unsupervised Domain Adaptation Cross-domain image translation http://openaccess.thecvf.com/content_cvpr_2017/papers/Tzeng_Adversarial_Discriminative_Domain_CV PR_2017_paper.pdf http://sse.tongji.edu.cn/linzhang/CV/ReadingMaterials/Image-To-Image_Translation.pdf

Related Work Adversarial Discriminative Domain Adaptation(CVPRʼ17) どちらのドメインから抽出した特徴量なのか区別できないよう敵対学習 ドメインが異なっても同じような特徴量分布となるため識別器を共有可能 この⼿法の課題 ドメイン特徴量の分布を寄せる過程で、 意味ある情報（ semantic information ）を損失しているリスクがある。 Unsupervised Domain Adaptation

Related Work この⼿法の課題 ドメイン特徴量の分布を寄せる過程で、 意味ある情報（ semantic information ）を損失しているリスクがある。 Unsupervised Domain Adaptation 補⾜︓こんな感じ 0~9の⽂字クラスの特徴量分布 ドメイン(⾚と⻘)が異なると、 分布が若⼲異なる。 これが重なるよう調整する。 http://proceedings.mlr.press/v37/ganin15.pdf

Related Work Image-to-Image Translation with Conditional Adversarial Networks (CVPRʼ17) ２ドメインの画像ペアについて敵対学習する。 Image Translationで⽣成した画像ペアだと⾒抜かれないよう学習する。 この⼿法の課題 ２ドメイン専⽤⼿法なので拡張性が低い。 マルチドメインに展開した場合は計算量が膨⼤になる。 Cross-domain image translation

Key Idea Unified Feature Disentangle Network (UFDN) 敵対学習を利⽤して特徴量を分離する ドメイン特徴量を拡張可能なvector表現にしてマルチドメイン対応 ⾃⼰符号化器を添えることで情報損失を防ぐ

Key Idea (detail)

Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい

Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする

Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする Dv はｚからドメイン識別できるように学習、 Encoderはドメイン識別されないような特徴量 z を抽出できるよう学習

Key Idea (detail) ｚからドメイン識別できなくなれば、 つまり、ｚはドメイン不変の特徴量︕

Key Idea (detail) しかし、ドメイン識別できないようにするなら 特徴抽出するとみせかけて、 ノイズ出⼒するだけでも達成されてしまう ｚからドメイン識別できなくなれば、 つまり、ｚはドメイン不変の特徴量︕

Key Idea (detail) しかし、ドメイン識別できないようにするなら 特徴抽出するとみせかけて、 ノイズ出⼒するだけでも達成されてしまう ｚには、ドメイン以外の情報が 損失なく保存されるような⼯夫が必要 ｚからドメイン識別できなくなれば、 つまり、ｚはドメイン不変の特徴量︕

Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 ｚからｘを復元できるような制約によって情報損失を防ぐ

Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 ｚからｘを復元できるような制約によって情報損失を防ぐ ただしｚは 先ほどの敵対学習により ドメイン不変である つまり、 ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が⾜りない。

Key Idea (detail) ⾃⼰符号化器によるReconstruct LOSSを追加 ｚからｘを復元できるような制約によって情報損失を防ぐ ドメインを⽰すvectorをｚに加算(concat)してReconstructionする。 ドメイン情報を加えるだけでReconstructionに成功したならば、 ドメイン以外の情報はｚに保存されていると⾔える。 ただしｚは 先ほどの敵対学習により ドメイン不変である つまり、 ドメイン情報は含まれず、 ドメイン以外の情報しか 含まれない。 Reconstructionするには ドメイン情報が⾜りない。

Key Idea (detail) 補⾜︓ ドメインを⽰すvectorは、具体的にはone hot vectorを利⽤ 例） ドメイン１ ⇒ [1, 0, 0] ドメイン２ ⇒ [0, 1, 0] ドメイン３ ⇒ [0, 0, 1]

Key Idea (detail) ドメイン以外の情報がｚに保存されているならば、 ウソのドメイン情報（vector）をｚに加算すれば、 Image-translationができる

Key Idea (detail) ドメイン以外の情報がｚに保存されているならば、 ウソのドメイン情報（vector）をｚに加算すれば、 Image-translationができる ⽣成画像の質を担保するために Real/Fakeおよび、 ドメイン識別のLOSSを設置

Key Idea (detail)

Experiment ① Unsupervised domain adaption 抽出したドメイン不変の特徴量ｚによって、 学習データとは異なるドメインのデータで数字識別タスクにチャレンジ ② image-to-image translation ｚに加えるドメイン情報（vector）を変化させることで、 様々な画像を⽣成する ① ②

Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN

Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN 残り３パターンは どうだったんだろ・・︖

Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN →SVHN のパターンは ダメだったんだろうな…

Experiment ② image-to-image translation マルチドメイン（ここでは３）でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b) ｚをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(ｚ)が異なり、左右⽅向ではドメイン特徴量(ｖ)が異なる

Experiment ② image-to-image translation マルチドメイン（ここでは３）でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b) ｚをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(ｚ)が異なり、左右⽅向ではドメイン特徴量(ｖ)が異なる Sketch と Paint の間や、 3ドメインの中間はどうなるんだろう… [1/3, 1/3, 1/3]を⼊⼒してみたい

Experiment ② image-to-image translation 画質評価（SSIM/MSE/PSNR）で従来⼿法を上回った ※これらの画像はいずれもドメイン以外の特徴量(ｚ)は同じで、ドメイン特徴量(ｖ)だけが異なる

Conclusion • ドメイン特徴量とそれ以外に分離して抽出するUFDN⼿法を提案 Ø ドメイン情報を⽰すvectorを調整すれば簡単に複数ドメイン対応可能 Ø ⾃⼰符号化器と敵対学習によって情報損失を防ぐ • Unsupervised domain adaption (SVHN→MNIST)でSOTAを達成

Thanks r2d.info