Upgrade to Pro — share decks privately, control downloads, hide ads and more …

0から始めるMetric Learning

24381406d96ddefd60e7ee182cda8cd0?s=47 KeisukeShimokawa
February 09, 2019

0から始めるMetric Learning

PyData.Fukuoka #2 のLT資料です。

24381406d96ddefd60e7ee182cda8cd0?s=128

KeisukeShimokawa

February 09, 2019
Tweet

Transcript

  1. 0から始めるMetric Learning PyData.Fukuoka Meetup #2 – ハンズオン & LT大会 Feb.

    9th, 2019 shimopino (@shimoke4869) あるいはDeepなMetric Learning
  2. 自己紹介 2 • 下川 啓介 @shimoke4869 • 九州大学 総合理工学府 大気海洋環境システム学専攻

    研究内容:宇宙プラズマと宇宙線の相互作用の効果 • 解析の経験 Python歴:1年半 機械学習:1年(2018年度から勉強) 6月からトライアルでアルバイト 現在は統計学や最適化数学を勉強中…
  3. Metric Learningとは? 3 ・ データの特徴量に対して、似たものは近い距離に、異なるものは遠い距離 になるような計量を学習する。 特徴量間の 距離が遠い Metric Learning

    特徴量間の 距離が近い
  4. マハラノビス距離とは? 4 ・ 特徴量同士の距離をマハラノビス距離として学習する ℎ , = − M( −

    ) このデータは どちらに属す るか 2グループの特徴の分布 分布の平均とのユークリッド 距離ではどちらも距離が等し い 分布の分散も考慮した距離を 定義する必要がある
  5. マハラノビス距離を学習するとは? 5 ・ 結局マハラノビス距離を学習するってどういうことなの? ℎ , = − M( −

    ) = とすると ℎ , = − V ( − ) = V − − = (, ) 特徴量を似たものは 近く、異なるものは 遠くに変換するよう な行列Vを学習する こと
  6. Deep Learningの登場 6 ・ マハラノビス距離を学習することによって得られる 行列Vは特徴量を線形写像している ・ 最近ではDeep Learningを使用して特徴量を非線形に写像 する試みが進んでいる

    線形的に変換するだけでは複雑な(非線 形な)データ構造に対して正しく適用で きない
  7. Convolutional Neural Networkの例 7 何らか の画像 224 × 224 トランプ

    オバマ Others … 畳み込み層で深い層から 単純な特徴を学習してい き、浅い層ではより抽象 的な特徴を学習している 畳み込み層で得た特徴をより 低次元なベクトルに圧縮 低次元なベクトルをソフト マックスで分類している
  8. 応用領域 8 ・ CNNを用いた顔認識、画像検索など CNN CNN CNN Anchor – positive

    : 同じクラスの画像 Anchor – negative : 異なるクラスの画像 これは似たものを近く、異なるものは遠く なるようにデータを写像している。 元の画像から低次元のベクトルに畳み込む、 つまり非線形にデータを写像している [F Schoroff, 2015] FaceNet: A Unified Embedding for Face Recognition and Clustering
  9. MNISTではどのように変換されるか 9 通常のソフトマックスでの分類 Metric Learningによって畳み 込んだ特徴量 特徴空間での距離が、 それぞれのクラスに 対応している。 似ているものは近く、

    異なるものは遠く
  10. KaggleにてWinner Solutionとして使われた 10 ・マルチラベル分類問題(評価指標はマルチF1スコア) ・精度を出すだけではなくユーザーの使用用途にも対応している ・画像に人力でラベル付けを行う際に最近傍のデータを参照できる ・距離に閾値をもつけてクラスタリングできる。ラベルのQuality確認ができる ・畳み込み表現をt-sneなどを使用して可視化できる

  11. 参考資料 11 •チュートリアル ・Coursera DeepLearning.ai (Andrew Ng) Week4 Part1 •参考文献

    ・[F Schoroff, 2015] FaceNet: A Unified Embedding for Recognition and Clustering ・[A Hermans, 2017] In Defense of the Triplet Loss for Person Re-Identification ・[M Wang, 2018] Deep Face Recognition: A Survey ・[ZoZoResearchBlog, 2018] deep metric learningによるcross-domain画像検索 ・[Kaggle] A CNN classifier and a Metric Learning model,1st Place Solution
  12. 付録:なぜMetric Laerningで行うのか? 12 何らか の画像 224 × 224 トラン プ

    オバマ Others … ・なぜSoftmaxで分類を行うのではなく、Metric Learningで 畳み込み表現の距離として学習させるのか ・ソフトマックス層の数を分類クラス数に応じて変える必要がある ・クラス数を変更した分、モデルを再学習させなければならない
  13. 付録:Equation ofMahalanobis Distance 13 ・マハラノビス距離は共分散(特徴量同士が独立)でなければユークリッド距離に等しい ℎ , = − M(

    − ) = 1 − 1 2 − 2 1 1 2 0 0 1 2 2 1 − 1 2 − 2 = (1 −1 )2 1 2 + (2 −2 )2 2 2 標準化した特徴量 でのユークリッド 距離に等しい