Upgrade to Pro — share decks privately, control downloads, hide ads and more …

0から始めるMetric Learning

Avatar for KeisukeShimokawa KeisukeShimokawa
February 09, 2019

0から始めるMetric Learning

PyData.Fukuoka #2 のLT資料です。

Avatar for KeisukeShimokawa

KeisukeShimokawa

February 09, 2019
Tweet

More Decks by KeisukeShimokawa

Other Decks in Science

Transcript

  1. 0から始めるMetric Learning PyData.Fukuoka Meetup #2 – ハンズオン & LT大会 Feb.

    9th, 2019 shimopino (@shimoke4869) あるいはDeepなMetric Learning
  2. 自己紹介 2 • 下川 啓介 @shimoke4869 • 九州大学 総合理工学府 大気海洋環境システム学専攻

    研究内容:宇宙プラズマと宇宙線の相互作用の効果 • 解析の経験 Python歴:1年半 機械学習:1年(2018年度から勉強) 6月からトライアルでアルバイト 現在は統計学や最適化数学を勉強中…
  3. マハラノビス距離とは? 4 ・ 特徴量同士の距離をマハラノビス距離として学習する ℎ , = − M( −

    ) このデータは どちらに属す るか 2グループの特徴の分布 分布の平均とのユークリッド 距離ではどちらも距離が等し い 分布の分散も考慮した距離を 定義する必要がある
  4. マハラノビス距離を学習するとは? 5 ・ 結局マハラノビス距離を学習するってどういうことなの? ℎ , = − M( −

    ) = とすると ℎ , = − V ( − ) = V − − = (, ) 特徴量を似たものは 近く、異なるものは 遠くに変換するよう な行列Vを学習する こと
  5. Convolutional Neural Networkの例 7 何らか の画像 224 × 224 トランプ

    オバマ Others … 畳み込み層で深い層から 単純な特徴を学習してい き、浅い層ではより抽象 的な特徴を学習している 畳み込み層で得た特徴をより 低次元なベクトルに圧縮 低次元なベクトルをソフト マックスで分類している
  6. 応用領域 8 ・ CNNを用いた顔認識、画像検索など CNN CNN CNN Anchor – positive

    : 同じクラスの画像 Anchor – negative : 異なるクラスの画像 これは似たものを近く、異なるものは遠く なるようにデータを写像している。 元の画像から低次元のベクトルに畳み込む、 つまり非線形にデータを写像している [F Schoroff, 2015] FaceNet: A Unified Embedding for Face Recognition and Clustering
  7. 参考資料 11 •チュートリアル ・Coursera DeepLearning.ai (Andrew Ng) Week4 Part1 •参考文献

    ・[F Schoroff, 2015] FaceNet: A Unified Embedding for Recognition and Clustering ・[A Hermans, 2017] In Defense of the Triplet Loss for Person Re-Identification ・[M Wang, 2018] Deep Face Recognition: A Survey ・[ZoZoResearchBlog, 2018] deep metric learningによるcross-domain画像検索 ・[Kaggle] A CNN classifier and a Metric Learning model,1st Place Solution
  8. 付録:なぜMetric Laerningで行うのか? 12 何らか の画像 224 × 224 トラン プ

    オバマ Others … ・なぜSoftmaxで分類を行うのではなく、Metric Learningで 畳み込み表現の距離として学習させるのか ・ソフトマックス層の数を分類クラス数に応じて変える必要がある ・クラス数を変更した分、モデルを再学習させなければならない
  9. 付録:Equation ofMahalanobis Distance 13 ・マハラノビス距離は共分散(特徴量同士が独立)でなければユークリッド距離に等しい ℎ , = − M(

    − ) = 1 − 1 2 − 2 1 1 2 0 0 1 2 2 1 − 1 2 − 2 = (1 −1 )2 1 2 + (2 −2 )2 2 2 標準化した特徴量 でのユークリッド 距離に等しい