0から始めるMetric Learning PyData.Fukuoka Meetup #2 – ハンズオン & LT大会 Feb. 9th, 2019 shimopino (@shimoke4869) あるいはDeepなMetric Learning 

自己紹介 2 ● 下川 啓介 @shimoke4869 ● 九州大学 総合理工学府 大気海洋環境システム学専攻 研究内容：宇宙プラズマと宇宙線の相互作用の効果 ● 解析の経験 Python歴：1年半 機械学習：1年（2018年度から勉強） 6月からトライアルでアルバイト 現在は統計学や最適化数学を勉強中… 

Metric Learningとは？ 3 ・ データの特徴量に対して、似たものは近い距離に、異なるものは遠い距離 になるような計量を学習する。 特徴量間の 距離が遠い Metric Learning 特徴量間の 距離が近い 

マハラノビス距離とは？ 4 ・ 特徴量同士の距離をマハラノビス距離として学習する ℎ , = − M( − ) このデータは どちらに属す るか 2グループの特徴の分布 分布の平均とのユークリッド 距離ではどちらも距離が等し い 分布の分散も考慮した距離を 定義する必要がある 

マハラノビス距離を学習するとは？ 5 ・ 結局マハラノビス距離を学習するってどういうことなの？ ℎ , = − M( − ) = とすると ℎ , = − V ( − ) = V − − = (, ) 特徴量を似たものは 近く、異なるものは 遠くに変換するよう な行列Vを学習する こと 

Deep Learningの登場 6 ・ マハラノビス距離を学習することによって得られる 行列Vは特徴量を線形写像している ・ 最近ではDeep Learningを使用して特徴量を非線形に写像 する試みが進んでいる 線形的に変換するだけでは複雑な（非線 形な）データ構造に対して正しく適用で きない 

Convolutional Neural Networkの例 7 何らか の画像 224 × 224 トランプ オバマ Others … 畳み込み層で深い層から 単純な特徴を学習してい き、浅い層ではより抽象 的な特徴を学習している 畳み込み層で得た特徴をより 低次元なベクトルに圧縮 低次元なベクトルをソフト マックスで分類している 

応用領域 8 ・ CNNを用いた顔認識、画像検索など CNN CNN CNN Anchor – positive : 同じクラスの画像 Anchor – negative : 異なるクラスの画像 これは似たものを近く、異なるものは遠く なるようにデータを写像している。 元の画像から低次元のベクトルに畳み込む、 つまり非線形にデータを写像している [F Schoroff, 2015] FaceNet: A Unified Embedding for Face Recognition and Clustering 

MNISTではどのように変換されるか 9 通常のソフトマックスでの分類 Metric Learningによって畳み 込んだ特徴量 特徴空間での距離が、 それぞれのクラスに 対応している。 似ているものは近く、 異なるものは遠く 

KaggleにてWinner Solutionとして使われた 10 ・マルチラベル分類問題（評価指標はマルチF1スコア） ・精度を出すだけではなくユーザーの使用用途にも対応している ・画像に人力でラベル付けを行う際に最近傍のデータを参照できる ・距離に閾値をもつけてクラスタリングできる。ラベルのQuality確認ができる ・畳み込み表現をt-sneなどを使用して可視化できる 

参考資料 11 ●チュートリアル ・Coursera DeepLearning.ai (Andrew Ng) Week4 Part1 ●参考文献 ・[F Schoroff, 2015] FaceNet: A Unified Embedding for Recognition and Clustering ・[A Hermans, 2017] In Defense of the Triplet Loss for Person Re-Identification ・[M Wang, 2018] Deep Face Recognition: A Survey ・[ZoZoResearchBlog, 2018] deep metric learningによるcross-domain画像検索 ・[Kaggle] A CNN classifier and a Metric Learning model,1st Place Solution 

付録：なぜMetric Laerningで行うのか？ 12 何らか の画像 224 × 224 トラン プ オバマ Others … ・なぜSoftmaxで分類を行うのではなく、Metric Learningで 畳み込み表現の距離として学習させるのか ・ソフトマックス層の数を分類クラス数に応じて変える必要がある ・クラス数を変更した分、モデルを再学習させなければならない 

付録：Equation ofMahalanobis Distance 13 ・マハラノビス距離は共分散（特徴量同士が独立）でなければユークリッド距離に等しい ℎ , = − M( − ) ＝ 1 − 1 2 − 2 1 1 2 0 0 1 2 2 1 − 1 2 − 2 ＝ (1 −1 )2 1 2 + (2 −2 )2 2 2 標準化した特徴量 でのユークリッド 距離に等しい