Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Domain Adaptation 発展と動向まとめ

Domain Adaptation 発展と動向まとめ

68753ad1beb5f665fa03ade3278f9e33?s=128

Yamato.OKAMOTO

August 01, 2018
Tweet

Transcript

  1. 2018/8/1 岡本大和 (Survey) Domain Adaptation 発展と動向まとめ

  2. はじめに自己紹介

  3. 自己紹介 岡本大和(おかもとやまと)  2013 京都大学 情報学研究科 修士課程修了(美濃研究室所属)  画像処理やパターン認識の研究に着手 

    卒業後、オムロンに入社(京都企業!!)  R&D担当、機械学習・IoT・データ分析を扱う(バズワードばかり……) twitter.com/RoadRoller_DESU イラストレーターの友人が 描いてくれた似顔絵キャラ (※お気に入り)
  4. 今年, 初めてICMLに参加しました。 (ICML 2018 @Stockholm)

  5. 水の都Stockholmはええ場所でした

  6. Domain Adaptation 発展と動向まとめ

  7. Domain Adaptation の課題 ①いかに異なるドメイン間で分布を近づけるか ⇒ Adversarial Learningの活用 ②いかに少ないデータとラベルで学習するか ③いかにSemantic情報を保持するか ⇒

    Reconstruction Loss や Centroid Loss の導入
  8. Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線

    x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G
  9. Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線

    x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G 【Problem】 特徴量の分布が似通うだけで Semanticな情報がKeepされない. (異なるクラスの特徴量が近傍に分布する)
  10. Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation Ghifaryら(ECCV’16) Target-Domainに対してUnsupervisedでSemanticな情報をKeepする Task①:Supervised

    classification of labeled source data Task②:Unsupervised reconstruction of unlabeled target data. 【Contribute】 Reconstruction Lossにより Semantic情報が残るようにした 【Contribute】 TargetのLabelがゼロの場合に対応
  11. Few-Shot Adversarial Domain Adaptation Mottianら(NIPS’17) Same class Different class Same

    Domain Different Domain Semanticな情報をKeepするには、 Classification-Taskを教師あり学習させるのが手っ取り早い。 そこで、Target-Domainのデータやラベルが少ない場合でも、 教師あり学習できる手法が提案された。 *Discriminator:4クラス分類を解けるよう学習 *Generator :ClassがSameかDifferentか見抜かれないよう学習 【Contribute】 Targetデータが少ない場合に対応
  12. ADDA: Adversarral Discriminative Domain Adaptation Tzengら(CVPR’17) ①SourceでClassification-TaskをSupervised Learning ②SourceとTargetでAdversarial Learning

    ③TargetでClassification-Taskを実行 実線:Wを更新 点線:Wを凍結
  13. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる

  14. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『Image-level GAN loss』

    Target Domainらしい画像を 生成できているかどうか
  15. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『feature-level GAN loss』

    各Domainからf t で抽出した 特徴量の分布が類似するかどうか
  16. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『semantic consistency losses』

    特徴量を復元できるかどうか。 Domain変換で特徴が失われてないことを確認
  17. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『semantic consistency losses』

    画像を復元できるかどうか。 Domain変換で特徴が失われてないことを確認
  18. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『semantic consistency losses』

    f T で抽出した特徴量でTaskを解けるかどうか
  19. CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる

  20. M-ADDA: Unsupervised Domain Adaptation with Deep Metric Learning Laradjiら(ICML’18) クラス重心の近接度合に着目したCenter

    Magnet Lossを提案 1. SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. Sourceにおいて各Classの重心Cを算出 4. Targetの特徴量がいずれかのClassの重心Cに近づくよう学習 1 2 3 4
  21. Learning Semantic Representations for Unsupervised Domain Adaptation Xieら(ICML’18) 異なるドメインの同一クラスの重心が一致するよう学習 1.

    SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. 学習したモデルでTargetをClassificationしてラベル生成する (※このラベリングの正確性は保証されない) 4. 異なるドメインの同一クラスの重心が一致するよう学習 1 2 3 4 1
  22. まとめ Domain Adaptation の課題(再掲) ①いかに異なるドメイン間で分布を近づけるか ⇒ Adversarial Learningの活用 ②いかに少ないデータとラベルで学習するか ③いかにSemantic情報を保持するか

    ⇒ Reconstruction Loss や Centroid Loss の導入