Share
Embed
Domain Adaptation 発展と動向まとめ
Yamato.OKAMOTO
August 01, 2018
Transcript
22 slides
-
自己紹介 岡本大和(おかもとやまと) 2013 京都大学 情報学研究科 修士課程修了(美濃研究室所属) 画像処理やパターン認識の研究に着手
卒業後、オムロンに入社(京都企業!!) R&D担当、機械学習・IoT・データ分析を扱う(バズワードばかり……) twitter.com/RoadRoller_DESU イラストレーターの友人が 描いてくれた似顔絵キャラ (※お気に入り) -
Domain Adaptation の課題 ①いかに異なるドメイン間で分布を近づけるか ⇒ Adversarial Learningの活用 ②いかに少ないデータとラベルで学習するか ③いかにSemantic情報を保持するか ⇒
Reconstruction Loss や Centroid Loss の導入 -
Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線
x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G -
Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線
x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G 【Problem】 特徴量の分布が似通うだけで Semanticな情報がKeepされない. (異なるクラスの特徴量が近傍に分布する) -
Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation Ghifaryら(ECCV’16) Target-Domainに対してUnsupervisedでSemanticな情報をKeepする Task①:Supervised
classification of labeled source data Task②:Unsupervised reconstruction of unlabeled target data. 【Contribute】 Reconstruction Lossにより Semantic情報が残るようにした 【Contribute】 TargetのLabelがゼロの場合に対応 -
Few-Shot Adversarial Domain Adaptation Mottianら(NIPS’17) Same class Different class Same
Domain Different Domain Semanticな情報をKeepするには、 Classification-Taskを教師あり学習させるのが手っ取り早い。 そこで、Target-Domainのデータやラベルが少ない場合でも、 教師あり学習できる手法が提案された。 *Discriminator:4クラス分類を解けるよう学習 *Generator :ClassがSameかDifferentか見抜かれないよう学習 【Contribute】 Targetデータが少ない場合に対応 -
ADDA: Adversarral Discriminative Domain Adaptation Tzengら(CVPR’17) ①SourceでClassification-TaskをSupervised Learning ②SourceとTargetでAdversarial Learning
③TargetでClassification-Taskを実行 実線:Wを更新 点線:Wを凍結 -
CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『Image-level GAN loss』
Target Domainらしい画像を 生成できているかどうか -
CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『feature-level GAN loss』
各Domainからf t で抽出した 特徴量の分布が類似するかどうか -
CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『semantic consistency losses』
特徴量を復元できるかどうか。 Domain変換で特徴が失われてないことを確認 -
CYCADA: CYCLE-CONSISTENT ADVERSARIAL DOMAIN ADAPTATION Hoffmanら(ICLR’18) 特徴量と画像(pixel-level)の表現を両方獲得させる 『semantic consistency losses』
画像を復元できるかどうか。 Domain変換で特徴が失われてないことを確認 -
M-ADDA: Unsupervised Domain Adaptation with Deep Metric Learning Laradjiら(ICML’18) クラス重心の近接度合に着目したCenter
Magnet Lossを提案 1. SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. Sourceにおいて各Classの重心Cを算出 4. Targetの特徴量がいずれかのClassの重心Cに近づくよう学習 1 2 3 4 -
Learning Semantic Representations for Unsupervised Domain Adaptation Xieら(ICML’18) 異なるドメインの同一クラスの重心が一致するよう学習 1.
SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. 学習したモデルでTargetをClassificationしてラベル生成する (※このラベリングの正確性は保証されない) 4. 異なるドメインの同一クラスの重心が一致するよう学習 1 2 3 4 1 -
まとめ Domain Adaptation の課題(再掲) ①いかに異なるドメイン間で分布を近づけるか ⇒ Adversarial Learningの活用 ②いかに少ないデータとラベルで学習するか ③いかにSemantic情報を保持するか
⇒ Reconstruction Loss や Centroid Loss の導入