ICLR’19 動向まとめ

Transcript

1. 岡本大和
   ICLR’19 動向まとめ
   Domain Adaptation
   Disentangle Learning
   

   View Slide

2. 自己紹介 岡本大和（おかもとやまと）
    京都大学でパターン認識を研究して修士課程修了
    オムロンで技術起点のBusiness Developmentを担当
    夢は京都をポスト・シリコンバレーにすること
   ⇒ 京都の学生と変人が持つパワーを世界に知らしめたい
   @ICDM’18
   Banquet
   Twitter : RoadRoller_DESU
   

   View Slide

3. 調査方針
   ICLR’19から論文タイトルに
   「Disentangle」 「Domain 」「Adaptation」
   いずれかを含むものを抽出 （参照先： https://iclr.cc/Conferences/2019/AcceptedPapersInitial ）
   ⇒ 計１２件でした
   

   View Slide

4. Emerging Disentanglement in Auto-Encoder Based Unsupervised Image Content Transfer Ori Press (Tel Aivv University)
   Overcoming the Disentanglement vs Reconstruction Trade-off via Jacobian Supervision José Lezama (Universidad de la Republica)
   LEARNING FACTORIZED REPRESENTATIONS FOR OPEN-SET DOMAIN ADAPTATION Mahsa Baktashmotlagh (Monash University)
   Adversarial Domain Adaptation for Stable Brain-Machine Interfaces Ali Farshchian (Northwestern University)
   Augmented Cyclic Adversarial Learning for Low Resource Domain Adaptation Ehsan Hosseini-Asl (Salesforce Research)
   Overcoming Catastrophic Forgetting via Model Adaptation Wenpeng Hu (Peking University)
   Unsupervised Domain Adaptation for Distance Metric Learning Kihyuk Sohn (NEC Laboratories America)
   Improving the Generalization of Adversarial Training with Domain Adaptation Chuanbiao Song (Huazhong University of
   Science and Technology)
   Deep Online Learning Via Meta-Learning: Continual Adaptation for Model-Based RL Anusha Nagabandi (UC Berkeley)
   Regularized Learning for Domain Adaptation under Label Shifts Kamyar Azizzadenesheli (UCI-Caltech)
   Multi-Domain Adversarial Learning Alice Schoenauer Sebag (Ministry for the
   Economy and Finance)
   Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering Rajarshi Das (Department of Computer
   Science, University of Massachusetts,
   Amherst)
   

   View Slide

5. Improving the Generalization of Adversarial Training
   with Domain Adaptation
   Adversarial Attack（データｘに僅かな摂動𝜖を加えて識別器を狂わせる）に頑健なモデルを新規提案
   キーアイデアはClean-Sample(x)とAdversarial-Sample(x+𝜖)に対してDisentangle手法を適用して、
   Domain-invarianceな特徴量表現を学習すること
   OpenReview: https://openreview.net/forum?id=SyfIfnC5Ym
   Pdf: https://openreview.net/pdf?id=SyfIfnC5Ym
   Adversarial Attack
   出典： https://arxiv.org/pdf/1412.6572.pdf
   Fashion-MNISTにAdversarial-Attackしたときの特徴量分布
   （上段：ｘ、下段：ｘ＋𝜖）（左端：提案手法、他：従来手法）
   ⇒ 提案手法は摂動𝜖が加えられてもクラスの分布に変動がない
   Disentangleの手法は、
   相関や分布間距離の最小化による
   Unsupervised-Domain-Adaptation(UDA)と、
   クラス内分散の最小化とクラス間分散の最大化を加えた
   Supervised-Domain-Adaptation(SDA)を検証。
   従来のAdversarial-Trainingだけの場合(SAT)を上回った。
   SVHN,CIFAR-10,CIFAR-100でも検証して有効性を確認
   

   View Slide

6. LEARNING FACTORIZED REPRESENTATIONS
   FOR OPEN-SET DOMAIN ADAPTATION
   OpenReview: https://openreview.net/forum?id=SJe3HiC5KX
   Pdf: https://openreview.net/pdf?id=SJe3HiC5KX
   Targetドメインにunknownクラスを含むOpen-set条件でのDomain-Adaptation手法
   Source
   Data
   Xs
   Target
   Data
   Xt
   Enc
   V
   Enc
   B[V,U]
   空間：V
   share subspace
   (d-dim)
   空間：U
   private subspace
   (d-dim)
   ℝ𝑫×𝒅
   ℝ𝑫×𝟐𝒅
   • Source-Dataは空間Uに射影してＳとする、Target-Dataは空間V+Uに射影してＴとする
   • Target-Dataの係数行列のうち、Vに該当する部分Tvと、Ｕに該当する部分Tuのいずれか
   がゼロに近づくよう制約をかける（Ａ）
   • Source-Dataを空間Ｕに射影したＳを、識別器Ｗで識別できるようにする（Ｂ）
   S
   Ｔ
   （Ａ）
   （Ｂ）
   （そうなるような射影ＶとＢを算出）
   を満たすサンプルはUnknownクラスと判定
   SourceのC個のKnownクラスと、TargetのUnknownクラスにより
   C+1クラス識別をV+U空間で学習する（SVM、NN等）⇒ SoTA達成
   unknown
   classを
   空間Uに
   集めたい
   敵対学習どころか
   Deepも使ってない！？
   

   View Slide

7. OpenReview: https://openreview.net/forum?id=BklhAj09K7
   Pdf: https://openreview.net/pdf?id=BklhAj09K7
   Targetドメインにunknownクラスを含むOpen-Set条件下で、
   Domain-AdaptationによるMetric-Learning手法を提案
   Unsupervised Domain Adaptation
   for Distance Metric Learning
   異なる特徴量空間にある
   SourceとTargetでMetric-Learningをしても
   うまくクラスタが形成されない
   (疑問)ドメイン共通のクラスがあった場合はちゃんと寄るのか？
   提案手法ではきれいに
   クラスタが形成された
   特徴抽出器：f、S->Tのドメイン変換器：Tx
   ①Sourceのペアデータ[x1, x2]を用いて
   • [f(x1), f(x2)] でメトリックラーニング
   • [Tx(f(x1)), Tx(f(x2))]でメトリックラーニング
   ②Domain Adaptation
   • Sourceのxから抽出した特徴量をFsとする
   • Targetのxから抽出した特徴量をFtとする
   • D
   1
   で、Tx(Fs)とFtでドメイン識別の敵対学習
   • D
   2
   で、FsをSourceと識別するよう学習
   • D
   2
   で、FtとTx(Fs)をTargetと識別するよう学習
   Sourceは0~4
   Targetは5~9のみ
   

   View Slide

8. Multi-Domain Adversarial Learning
   OpenReview: https://openreview.net/forum?id=Sklv5iRqYX
   Pdf: https://openreview.net/pdf?id=Sklv5iRqYX
   Contribute.1
   H-divergence theoryをMulti-Domainに拡張して、
   全ドメイン平均リスクとWorstドメインリスクの上界を定義（証明つき）
   Contribute.2
   Unknownクラスに対応したSemi-supervised手法『MuLANN』を提案
   • classification-entropyが上位p%のサンプルを”unknownクラス”と定義する
   • ”unknownクラス”を予測できるようKnown-Unknown-Discrimination(KUD)を学習
   • これにより“unknownクラス”をunknownらしく保つ力が働き、他クラスとの混同を防ぐ
   classification-entropyが
   上位p%になるサンプルを
   予測できるよう学習
   いずれかのドメインにしか登場しないクラスが存在する
   Class-Asymmetry条件下でDomain-Adaptation性能を評価
   （MNIST, OFFICE, CELL problem）
   𝜸や𝝈が
   片方にだけ登場
   (class-asymmetry)
   

   View Slide

9. Adversarial Domain Adaptation
   for Stable Brain-Machine Interfaces
   • 脳波(BMIs)から筋肉の動きを予測する研究、日にちごとのバイアス変化が課題
   • 猿の手の筋肉に14本の電極を埋め込みEMG（筋肉の活動レベルを定量化）を記録（5回×16日）
   • レバー操作で画面上のカーソルをターゲットに移動させるタスクを実行（タスクは計8パターン）
   arXiv.org: https://arxiv.org/abs/1810.00045
   日にちごとのバイアス変化の課題に対してDomain-Adapration手法を適用
   ①day-1のデータX
   1
   で、AEとClassifierを事前学習
   ②day-1のデータX
   1
   とday-kのデータX
   k
   で敵対学習
   ・ｋ⇒１の変換関数Aを介して AE(A(X
   k
   ))でReconstructできるようAを学習
   ・ AE(A(X
   k
   )) のRec-lossを増やし AE(X
   1
   ) のRec-lossを減らすようAEを学習
   BMIsから特徴抽出してEMG予測するアーキテクチャ
   同じ行動でも日によって
   特徴量の分布が異なる
   横軸：日にち、縦軸：精度
   青：日にち別にAEとClf構築
   紫：提案手法
   黄：KLDによりAを学習
   緑：相関分析によりAを学習
   赤：変換関数Aなし
   

   View Slide

10. Augmented Cyclic Adversarial Learning
    for Low Resource Domain Adaptation
    • Targetドメインのデータが少しだけある場合のSemi-Supervised-Domain-Adaptation手法
    • CycleGANの再構成制約をタスク制約に置換して「同じクラス」であればOKとなるよう緩和した
    ⇒ “reconstruction may be too restrictive when data are imbalanced across domains”と述べている
    • データXをS->T->S（またはT->S->T）に変換しても識別器が正しいｙを出力するよう学習
    arXiv.org: https://arxiv.org/abs/1807.00374
    SVHN→MNISTで実験
    [TRAIN] SVHNの全データ＋各クラス10枚のMNIST
    [TEST] MNISTの全データ
    [MODEL] modified LeNet for Source-domain
    ⇒ LeNet for Target-domain を学習する
    ＜左：従来手法＞
    CycleGAN
    ＜中央：提案手法＞
    S->T->S（またはT->S->T）したｘで、
    正しいｙを出力するよう学習する。
    ＜右：提案手法＞
    S->T（またはT->S）したｘでも、
    正しいｙを出力するよう学習した方が、
    さらに良い結果が出たと報告している。
    

    View Slide

11. Overcoming the Disentanglement vs Reconstruction Trade-off
    via Jacobian Supervision
    OpenReview: https://openreview.net/forum?id=Hkg4W2AcFm
    Pdf: https://openreview.net/pdf?id=Hkg4W2AcFm
    【課題】disentangle learningにはReconstructionとDisentangleの性能がトレードオフ
    ・Latent variableが低次元だと、conditionに対応する変数を学習しやすいが出力画像がボケやすい
    ・Latent variableが高次元だと、出力画像は鮮鋭だがcondition変更時に他要素まで変化しやすい
    【提案】
    ・Latent variableが低次元なTeacherモデルで学習
    ・Latent variableが高次元なStudentモデルへ転移
    【詳細】
    ・ [y+z]次元のLatent-Codeを設定（yは低次元でspecific-factorを想定, zは高次元でnuisanceを想定）
    ・Teacherモデルはyだけ扱うので、specific-factorを学習しやすい（Disentangleが得意）
    ・Studentモデルはyとzを扱うので、nuisanceも学習できる（Reconstructionが得意）
    学習①：TでReconstruction-LOSSにより学習（specific-factorを捉えることを期待）
    学習②：SでReconstruction-LOSSにより学習（鮮鋭な画像生成を期待）
    学習③：画像ペア[x
    1
    , x
    2
    ]入力時に、SとTで生成画像のpixel毎の差分(x’
    1
    -x’
    2
    )が等しくなるようSを学習
    さらに、yとzの共分散行列を小さくするLossも使うと安定するらしい
    Key Idea
    従来 提案
    元画像
    Rec
    Age-
    Change
    提案手法の方が画像が鮮鋭で
    Conditionも明確に変化させられている
    

    View Slide

12. Emerging Disentanglement in Auto-Encoder Based
    Unsupervised Image Content Transfer
    シンプルなアーキテクチャでImage-Transferする手法を提案
    （※ただし、A⇒Bの一方向変換で、ドメインBはドメインAの情報と＋α情報を含むことが条件）
    OpenReview: https://openreview.net/forum?id=BylE1205Fm
    Pdf: https://openreview.net/pdf?id=BylE1205Fm
    ∀顔画像
    A.眼鏡なし
    顔画像
    B.眼鏡あり
    顔画像
    ∀顔画像
    A.髭なし
    顔画像
    B.髭あり
    顔画像
    【Contribute】
    ・MUNITやDRITの従来手法はドメイン特徴をグローバルな変動（Style：低次元特徴量）として捉える
    ・提案手法はドメイン特徴を部分的な変動（Content：高次元特徴量）として捉えるように設計
    ・『眼鏡なし⇒眼鏡あり』というドメイン変換ではなく、特定の眼鏡をかけさせるような変換が可能
    Reconstruction-lossが2つと
    Domain-Confusion-lossがあるだけ
    ①ドメイン成分と②共通要素を
    捉える2つのEncoder
    Sourceドメインの①を
    ゼロとしている点が従来と異なる
    （所感）Motivateが異なるので
    DRITと比較してもしょうがない気がする
    

    View Slide

13. Regularized Learning for Domain Adaptation
    under Label Shifts
    Estimate important weight
    • SourceとTargetでクラスごとのサンプル割合が異なる条件を想定（Label Shifts）
    • Sourceで識別器を学習するとき、どのクラスを優先すればTargetで最高パフォーマンスとなるか？
    • サンプルＸが既知ならばクラスのサンプル数の割合で重み付けすればよい
    • しかし、基本的にラベルがわかるのはSourceで観測された有限個のサンプルのみ
    • 2分割した観測済みSourceデータを疑似的にSource’／Target’とする
    • Source’で識別器を構築後、Target’ で最高性能となるＷ(i)を算出、これを繰り返してＷ(i)を算出
    Generalization Bound
    • 上記手法で疑似的に求めたＷ(i)を用いた場合と、全サンプル既知の場合に求められる理想的なW(i)を
    用いた場合の性能差が、Rademacher complexity measure等を用いて上から抑えられることを証明。
    OpenReview: https://openreview.net/forum?id=rJl0r3R9KX
    Pdf: https://openreview.net/pdf?id=rJl0r3R9KX
    縦軸：Ｗの予測誤差
    横軸：label shift度合
    CIFAR-10の識別性能
    (黒): Ｗの真値を用いた場合
    (赤): Wなし
    (緑, 青): 提案手法でWを推定して用いた場合
    ※縦軸：Acc、 横軸：label shift度合
    

    View Slide

14. Overcoming Catastrophic Forgetting
    via Model Adaptation
    ニューラルネットで次々と異なるタスクを学習したときのCatastrophic-Forgettingに対処
    ・従来は、タスク特化した各モデルから、タスク共通で機能するパラメータを抽出する手法が主流
    ・提案は、共通パラメータに加えて、入力ｘからタスク特化のパラメータを動的生成するDPG関数を学習
    ・実験では、DNNの最初と最後のDense層パラメータのうち、 10~30%を入力ｘから動的生成した
    OpenReview: https://openreview.net/forum?id=ryGvcoA5YX
    Pdf: https://openreview.net/pdf?id=ryGvcoA5YX
    Solver:(z->y)
    識別器の役割を果たす、Dense層で構成
    DPG:(z->p
    i
    )
    Solverパラメータを動的生成、Dense層で構成
    DataGenarator:(x->z, z->x)
    EncoderとDecoder、Conv層で構成
    学習：①DPGとSolverの学習,②DataGeneratorの学習を交互に実行
    ①-1. 実データx
    i
    から抽出したz
    i
    によってy
    i
    が識別できるよう学習
    ①-2. 生成データx‘
    m
    の入力時に各ニューロン値が、直前タスクの学習完了時と一致するよう学習
    ②-1. 実データx
    i
    によるx->z->xのReconstructionを学習
    ②-2. 同じノイズz
    m
    による生成データx‘
    m
    が、直前タスクの学習完了時と一致するようDecoderを学習
    ②-3. 直前タスクの学習完了時のDecoderとz->x->zのReconstructionができるようEncoderを学習
    画像や言語データセットで、クラス数を分割してsequential学習したときSoTA達成
    ＜直感的な解釈＞
    Enc-Decを累積的に学習して、
    生成データx’
    m
    により過去タスクを
    忘却しないよう圧をかけている
    

    View Slide

15. Deep Online Learning Via Meta-Learning:
    Continual Adaptation for Model-Based RL
    強化学習にて、条件が途中変更しても素早くオンライン適応するためのMeta-Leaning手法を提案
    EMアルゴリズムと中華料理店過程(Chinese restaurant process)によってタスク混合分布を推定
    状況(task)に応じたモデルのインスタンス新規追加や、状況(task)に応じた過去モデル呼出しを実現
    実験では、Half-Cheetah等で、地形やアクチュエータのパラメータを途中変更しながら性能比較した
    OpenReview: https://openreview.net/forum?id=HyxAfnA5tm
    Pdf: https://openreview.net/pdf?id=HyxAfnA5tm
    https://sites.google.com/berkeley.edu/onlineviameta
    進んでいくうちに地形が次々と変わる
    地形に適応した制御方針を適宜切り替えることが必要
    複数タスクのどれに当てはまるか計算しながら制御する
    画面では3つの潜在タスクについてp(t
    i
    |x)を計算
    

    View Slide

16. Multi-step Retriever-Reader Interaction
    for Scalable Open-domain Question Answering
    QA（答えがYes/NoではないOpen-Questionに対して回答を検索＆抽出）の新しいフレームワークを提案
    • 従来手法は、ベクトル表現によりクエリと関連する文書を検索、そして回答に該当する箇所を抽出する
    • 提案手法は、関連文書から抽出した特徴量をクエリに合成、そして再び関連文書を検索する
    • これにより、回答が複数文書にまたがるような場合に対処できるようになった
    • 最初の検索に誤りがあってもただすような効果も確認された
    OpenReview: https://openreview.net/forum?id=HkfPSh05K7
    Pdf: https://openreview.net/pdf?id=HkfPSh05K7
    

    View Slide

17. 所感
    Domain-Adaptationの分野では、
    少量だけTargetドメインのデータがある場合のSemi-Supervised手法や、
    TargetドメインにUnknownクラスを含むOpen-set条件下での手法など、
    現実のシチュエーションに沿った研究が増えている。
    Adversarial Domain Adaptation for Stable Brain-Machine Interfaces のように
    実データへの適用も始まっている。
    Improving the Generalization of Adversarial Training with Domain Adaptation は、
    黒魔術感が少なく、実験も適格で、非常に好感のもてる論文だった。
    

    View Slide