岡本大和 ICLR’19 動向まとめ Domain Adaptation Disentangle Learning

自己紹介 岡本大和（おかもとやまと）  京都大学でパターン認識を研究して修士課程修了  オムロンで技術起点のBusiness Developmentを担当  夢は京都をポスト・シリコンバレーにすること ⇒ 京都の学生と変人が持つパワーを世界に知らしめたい @ICDM’18 Banquet Twitter : RoadRoller_DESU

調査方針 ICLR’19から論文タイトルに 「Disentangle」 「Domain 」「Adaptation」 いずれかを含むものを抽出 （参照先： https://iclr.cc/Conferences/2019/AcceptedPapersInitial ） ⇒ 計１２件でした

Emerging Disentanglement in Auto-Encoder Based Unsupervised Image Content Transfer Ori Press (Tel Aivv University) Overcoming the Disentanglement vs Reconstruction Trade-off via Jacobian Supervision José Lezama (Universidad de la Republica) LEARNING FACTORIZED REPRESENTATIONS FOR OPEN-SET DOMAIN ADAPTATION Mahsa Baktashmotlagh (Monash University) Adversarial Domain Adaptation for Stable Brain-Machine Interfaces Ali Farshchian (Northwestern University) Augmented Cyclic Adversarial Learning for Low Resource Domain Adaptation Ehsan Hosseini-Asl (Salesforce Research) Overcoming Catastrophic Forgetting via Model Adaptation Wenpeng Hu (Peking University) Unsupervised Domain Adaptation for Distance Metric Learning Kihyuk Sohn (NEC Laboratories America) Improving the Generalization of Adversarial Training with Domain Adaptation Chuanbiao Song (Huazhong University of Science and Technology) Deep Online Learning Via Meta-Learning: Continual Adaptation for Model-Based RL Anusha Nagabandi (UC Berkeley) Regularized Learning for Domain Adaptation under Label Shifts Kamyar Azizzadenesheli (UCI-Caltech) Multi-Domain Adversarial Learning Alice Schoenauer Sebag (Ministry for the Economy and Finance) Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering Rajarshi Das (Department of Computer Science, University of Massachusetts, Amherst)

Improving the Generalization of Adversarial Training with Domain Adaptation Adversarial Attack（データｘに僅かな摂動𝜖を加えて識別器を狂わせる）に頑健なモデルを新規提案 キーアイデアはClean-Sample(x)とAdversarial-Sample(x+𝜖)に対してDisentangle手法を適用して、 Domain-invarianceな特徴量表現を学習すること OpenReview: https://openreview.net/forum?id=SyfIfnC5Ym Pdf: https://openreview.net/pdf?id=SyfIfnC5Ym Adversarial Attack 出典： https://arxiv.org/pdf/1412.6572.pdf Fashion-MNISTにAdversarial-Attackしたときの特徴量分布 （上段：ｘ、下段：ｘ＋𝜖）（左端：提案手法、他：従来手法） ⇒ 提案手法は摂動𝜖が加えられてもクラスの分布に変動がない Disentangleの手法は、 相関や分布間距離の最小化による Unsupervised-Domain-Adaptation(UDA)と、 クラス内分散の最小化とクラス間分散の最大化を加えた Supervised-Domain-Adaptation(SDA)を検証。 従来のAdversarial-Trainingだけの場合(SAT)を上回った。 SVHN,CIFAR-10,CIFAR-100でも検証して有効性を確認

LEARNING FACTORIZED REPRESENTATIONS FOR OPEN-SET DOMAIN ADAPTATION OpenReview: https://openreview.net/forum?id=SJe3HiC5KX Pdf: https://openreview.net/pdf?id=SJe3HiC5KX Targetドメインにunknownクラスを含むOpen-set条件でのDomain-Adaptation手法 Source Data Xs Target Data Xt Enc V Enc B[V,U] 空間：V share subspace (d-dim) 空間：U private subspace (d-dim) ℝ𝑫×𝒅 ℝ𝑫×𝟐𝒅 • Source-Dataは空間Uに射影してＳとする、Target-Dataは空間V+Uに射影してＴとする • Target-Dataの係数行列のうち、Vに該当する部分Tvと、Ｕに該当する部分Tuのいずれか がゼロに近づくよう制約をかける（Ａ） • Source-Dataを空間Ｕに射影したＳを、識別器Ｗで識別できるようにする（Ｂ） S Ｔ （Ａ） （Ｂ） （そうなるような射影ＶとＢを算出） を満たすサンプルはUnknownクラスと判定 SourceのC個のKnownクラスと、TargetのUnknownクラスにより C+1クラス識別をV+U空間で学習する（SVM、NN等）⇒ SoTA達成 unknown classを 空間Uに 集めたい 敵対学習どころか Deepも使ってない！？

OpenReview: https://openreview.net/forum?id=BklhAj09K7 Pdf: https://openreview.net/pdf?id=BklhAj09K7 Targetドメインにunknownクラスを含むOpen-Set条件下で、 Domain-AdaptationによるMetric-Learning手法を提案 Unsupervised Domain Adaptation for Distance Metric Learning 異なる特徴量空間にある SourceとTargetでMetric-Learningをしても うまくクラスタが形成されない (疑問)ドメイン共通のクラスがあった場合はちゃんと寄るのか？ 提案手法ではきれいに クラスタが形成された 特徴抽出器：f、S->Tのドメイン変換器：Tx ①Sourceのペアデータ[x1, x2]を用いて • [f(x1), f(x2)] でメトリックラーニング • [Tx(f(x1)), Tx(f(x2))]でメトリックラーニング ②Domain Adaptation • Sourceのxから抽出した特徴量をFsとする • Targetのxから抽出した特徴量をFtとする • D 1 で、Tx(Fs)とFtでドメイン識別の敵対学習 • D 2 で、FsをSourceと識別するよう学習 • D 2 で、FtとTx(Fs)をTargetと識別するよう学習 Sourceは0~4 Targetは5~9のみ

Multi-Domain Adversarial Learning OpenReview: https://openreview.net/forum?id=Sklv5iRqYX Pdf: https://openreview.net/pdf?id=Sklv5iRqYX Contribute.1 H-divergence theoryをMulti-Domainに拡張して、 全ドメイン平均リスクとWorstドメインリスクの上界を定義（証明つき） Contribute.2 Unknownクラスに対応したSemi-supervised手法『MuLANN』を提案 • classification-entropyが上位p%のサンプルを”unknownクラス”と定義する • ”unknownクラス”を予測できるようKnown-Unknown-Discrimination(KUD)を学習 • これにより“unknownクラス”をunknownらしく保つ力が働き、他クラスとの混同を防ぐ classification-entropyが 上位p%になるサンプルを 予測できるよう学習 いずれかのドメインにしか登場しないクラスが存在する Class-Asymmetry条件下でDomain-Adaptation性能を評価 （MNIST, OFFICE, CELL problem） 𝜸や𝝈が 片方にだけ登場 (class-asymmetry)

Adversarial Domain Adaptation for Stable Brain-Machine Interfaces • 脳波(BMIs)から筋肉の動きを予測する研究、日にちごとのバイアス変化が課題 • 猿の手の筋肉に14本の電極を埋め込みEMG（筋肉の活動レベルを定量化）を記録（5回×16日） • レバー操作で画面上のカーソルをターゲットに移動させるタスクを実行（タスクは計8パターン） arXiv.org: https://arxiv.org/abs/1810.00045 日にちごとのバイアス変化の課題に対してDomain-Adapration手法を適用 ①day-1のデータX 1 で、AEとClassifierを事前学習 ②day-1のデータX 1 とday-kのデータX k で敵対学習 ・ｋ⇒１の変換関数Aを介して AE(A(X k ))でReconstructできるようAを学習 ・ AE(A(X k )) のRec-lossを増やし AE(X 1 ) のRec-lossを減らすようAEを学習 BMIsから特徴抽出してEMG予測するアーキテクチャ 同じ行動でも日によって 特徴量の分布が異なる 横軸：日にち、縦軸：精度 青：日にち別にAEとClf構築 紫：提案手法 黄：KLDによりAを学習 緑：相関分析によりAを学習 赤：変換関数Aなし

Augmented Cyclic Adversarial Learning for Low Resource Domain Adaptation • Targetドメインのデータが少しだけある場合のSemi-Supervised-Domain-Adaptation手法 • CycleGANの再構成制約をタスク制約に置換して「同じクラス」であればOKとなるよう緩和した ⇒ “reconstruction may be too restrictive when data are imbalanced across domains”と述べている • データXをS->T->S（またはT->S->T）に変換しても識別器が正しいｙを出力するよう学習 arXiv.org: https://arxiv.org/abs/1807.00374 SVHN→MNISTで実験 [TRAIN] SVHNの全データ＋各クラス10枚のMNIST [TEST] MNISTの全データ [MODEL] modified LeNet for Source-domain ⇒ LeNet for Target-domain を学習する ＜左：従来手法＞ CycleGAN ＜中央：提案手法＞ S->T->S（またはT->S->T）したｘで、 正しいｙを出力するよう学習する。 ＜右：提案手法＞ S->T（またはT->S）したｘでも、 正しいｙを出力するよう学習した方が、 さらに良い結果が出たと報告している。

Overcoming the Disentanglement vs Reconstruction Trade-off via Jacobian Supervision OpenReview: https://openreview.net/forum?id=Hkg4W2AcFm Pdf: https://openreview.net/pdf?id=Hkg4W2AcFm 【課題】disentangle learningにはReconstructionとDisentangleの性能がトレードオフ ・Latent variableが低次元だと、conditionに対応する変数を学習しやすいが出力画像がボケやすい ・Latent variableが高次元だと、出力画像は鮮鋭だがcondition変更時に他要素まで変化しやすい 【提案】 ・Latent variableが低次元なTeacherモデルで学習 ・Latent variableが高次元なStudentモデルへ転移 【詳細】 ・ [y+z]次元のLatent-Codeを設定（yは低次元でspecific-factorを想定, zは高次元でnuisanceを想定） ・Teacherモデルはyだけ扱うので、specific-factorを学習しやすい（Disentangleが得意） ・Studentモデルはyとzを扱うので、nuisanceも学習できる（Reconstructionが得意） 学習①：TでReconstruction-LOSSにより学習（specific-factorを捉えることを期待） 学習②：SでReconstruction-LOSSにより学習（鮮鋭な画像生成を期待） 学習③：画像ペア[x 1 , x 2 ]入力時に、SとTで生成画像のpixel毎の差分(x’ 1 -x’ 2 )が等しくなるようSを学習 さらに、yとzの共分散行列を小さくするLossも使うと安定するらしい Key Idea 従来 提案 元画像 Rec Age- Change 提案手法の方が画像が鮮鋭で Conditionも明確に変化させられている

Emerging Disentanglement in Auto-Encoder Based Unsupervised Image Content Transfer シンプルなアーキテクチャでImage-Transferする手法を提案 （※ただし、A⇒Bの一方向変換で、ドメインBはドメインAの情報と＋α情報を含むことが条件） OpenReview: https://openreview.net/forum?id=BylE1205Fm Pdf: https://openreview.net/pdf?id=BylE1205Fm ∀顔画像 A.眼鏡なし 顔画像 B.眼鏡あり 顔画像 ∀顔画像 A.髭なし 顔画像 B.髭あり 顔画像 【Contribute】 ・MUNITやDRITの従来手法はドメイン特徴をグローバルな変動（Style：低次元特徴量）として捉える ・提案手法はドメイン特徴を部分的な変動（Content：高次元特徴量）として捉えるように設計 ・『眼鏡なし⇒眼鏡あり』というドメイン変換ではなく、特定の眼鏡をかけさせるような変換が可能 Reconstruction-lossが2つと Domain-Confusion-lossがあるだけ ①ドメイン成分と②共通要素を 捉える2つのEncoder Sourceドメインの①を ゼロとしている点が従来と異なる （所感）Motivateが異なるので DRITと比較してもしょうがない気がする

Regularized Learning for Domain Adaptation under Label Shifts Estimate important weight • SourceとTargetでクラスごとのサンプル割合が異なる条件を想定（Label Shifts） • Sourceで識別器を学習するとき、どのクラスを優先すればTargetで最高パフォーマンスとなるか？ • サンプルＸが既知ならばクラスのサンプル数の割合で重み付けすればよい • しかし、基本的にラベルがわかるのはSourceで観測された有限個のサンプルのみ • 2分割した観測済みSourceデータを疑似的にSource’／Target’とする • Source’で識別器を構築後、Target’ で最高性能となるＷ(i)を算出、これを繰り返してＷ(i)を算出 Generalization Bound • 上記手法で疑似的に求めたＷ(i)を用いた場合と、全サンプル既知の場合に求められる理想的なW(i)を 用いた場合の性能差が、Rademacher complexity measure等を用いて上から抑えられることを証明。 OpenReview: https://openreview.net/forum?id=rJl0r3R9KX Pdf: https://openreview.net/pdf?id=rJl0r3R9KX 縦軸：Ｗの予測誤差 横軸：label shift度合 CIFAR-10の識別性能 (黒): Ｗの真値を用いた場合 (赤): Wなし (緑, 青): 提案手法でWを推定して用いた場合 ※縦軸：Acc、 横軸：label shift度合

Overcoming Catastrophic Forgetting via Model Adaptation ニューラルネットで次々と異なるタスクを学習したときのCatastrophic-Forgettingに対処 ・従来は、タスク特化した各モデルから、タスク共通で機能するパラメータを抽出する手法が主流 ・提案は、共通パラメータに加えて、入力ｘからタスク特化のパラメータを動的生成するDPG関数を学習 ・実験では、DNNの最初と最後のDense層パラメータのうち、 10~30%を入力ｘから動的生成した OpenReview: https://openreview.net/forum?id=ryGvcoA5YX Pdf: https://openreview.net/pdf?id=ryGvcoA5YX Solver:(z->y) 識別器の役割を果たす、Dense層で構成 DPG:(z->p i ) Solverパラメータを動的生成、Dense層で構成 DataGenarator:(x->z, z->x) EncoderとDecoder、Conv層で構成 学習：①DPGとSolverの学習,②DataGeneratorの学習を交互に実行 ①-1. 実データx i から抽出したz i によってy i が識別できるよう学習 ①-2. 生成データx‘ m の入力時に各ニューロン値が、直前タスクの学習完了時と一致するよう学習 ②-1. 実データx i によるx->z->xのReconstructionを学習 ②-2. 同じノイズz m による生成データx‘ m が、直前タスクの学習完了時と一致するようDecoderを学習 ②-3. 直前タスクの学習完了時のDecoderとz->x->zのReconstructionができるようEncoderを学習 画像や言語データセットで、クラス数を分割してsequential学習したときSoTA達成 ＜直感的な解釈＞ Enc-Decを累積的に学習して、 生成データx’ m により過去タスクを 忘却しないよう圧をかけている

Deep Online Learning Via Meta-Learning: Continual Adaptation for Model-Based RL 強化学習にて、条件が途中変更しても素早くオンライン適応するためのMeta-Leaning手法を提案 EMアルゴリズムと中華料理店過程(Chinese restaurant process)によってタスク混合分布を推定 状況(task)に応じたモデルのインスタンス新規追加や、状況(task)に応じた過去モデル呼出しを実現 実験では、Half-Cheetah等で、地形やアクチュエータのパラメータを途中変更しながら性能比較した OpenReview: https://openreview.net/forum?id=HyxAfnA5tm Pdf: https://openreview.net/pdf?id=HyxAfnA5tm https://sites.google.com/berkeley.edu/onlineviameta 進んでいくうちに地形が次々と変わる 地形に適応した制御方針を適宜切り替えることが必要 複数タスクのどれに当てはまるか計算しながら制御する 画面では3つの潜在タスクについてp(t i |x)を計算

Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering QA（答えがYes/NoではないOpen-Questionに対して回答を検索＆抽出）の新しいフレームワークを提案 • 従来手法は、ベクトル表現によりクエリと関連する文書を検索、そして回答に該当する箇所を抽出する • 提案手法は、関連文書から抽出した特徴量をクエリに合成、そして再び関連文書を検索する • これにより、回答が複数文書にまたがるような場合に対処できるようになった • 最初の検索に誤りがあってもただすような効果も確認された OpenReview: https://openreview.net/forum?id=HkfPSh05K7 Pdf: https://openreview.net/pdf?id=HkfPSh05K7

所感 Domain-Adaptationの分野では、 少量だけTargetドメインのデータがある場合のSemi-Supervised手法や、 TargetドメインにUnknownクラスを含むOpen-set条件下での手法など、 現実のシチュエーションに沿った研究が増えている。 Adversarial Domain Adaptation for Stable Brain-Machine Interfaces のように 実データへの適用も始まっている。 Improving the Generalization of Adversarial Training with Domain Adaptation は、 黒魔術感が少なく、実験も適格で、非常に好感のもてる論文だった。