Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Metric Learning入門
Search
nishikimi
September 22, 2019
Research
6
4.7k
Metric Learning入門
Metric Learningについて基礎的な内容とArcFaceについて内容をまとめた資料です。
nishikimi
September 22, 2019
Tweet
Share
Other Decks in Research
See All in Research
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
610
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
120
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
420
Looking for Escorts in Sydney?
lunsophia
1
120
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
3.8k
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
520
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
6k
20250624_熊本経済同友会6月例会講演
trafficbrain
1
390
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
shunk031
12
8.4k
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
710
数理最適化と機械学習の融合
mickey_kubo
15
8.9k
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
270
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Code Review Best Practice
trishagee
69
19k
A better future with KSS
kneath
238
17k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Designing for Performance
lara
610
69k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Transcript
Metric Learning入門 2019/9/25 Rev0
本資料の位置づけ ❏ 読者の想定: Deep LearningでCNNによる画像分類の知識があるが、 Metric Learningに関する知識がない方 ❏ 最終的には、原論文を読んで欲しいですが、 基礎となる情報をスライドにまとめました。
❏ 資料は今後修正&更新していく予定です。
解こうとしているタスク 犬 人 猫 Aさん Bさん Cさん 一般物体認識 (通常の画像分類) 特徴
1クラスあたりのデータ数が少ない より詳細な物体認識 (通常の画像分類) 過学習を起こしやすい
metric learningの全体像 特徴量抽出器 (モデル) 学習時 利用時 ①同じクラスは 距離が近くなるように 学習 *実際には、n次元のベクトルです
②距離(類似度)を算出 検索したい データ
metric learningの全体像 特徴量抽出器 (モデル) 学習時 利用時 ①同じクラスは 距離が近くなるように 学習 *実際には、n次元のベクトルです
②距離(類似度)を算出 検索したい データ 学習時には 1クラス複数枚の 画像が必要 利用時には 1クラス1枚の画像でも よい
metric learningの種類 siamese network triplet network L2 softmax network 発表年
2006年〜 2014年〜 2017年〜 入力形式 2つペアを入力 3つペアを入力 ペア無しで入力 モデルの 概要 ancher
L2 softmax networkの代表的なモデル ・CosFace ・SphereFace ・ArcFace ・AdaCos
ArcFace (列ごとに)正規化 正規化 ① を とみなす ②正解ラベルに対する のみ mのペナルティを与える ① ②
③ ③logitsの値が小さいので logitをs倍する
Toyデータでの結果
None
メリット・デメリット ・通常のクラス分類のモデルに拡張する形なので実装が容易 ・クラス数が多いとパラメータ数が多くなる。 ・(学習時になかった)新しいクラスのデータに対する 予測精度が低い メリット デメリット
ArcFaceのクラス化 ・正規化 ・arcCos ・+mのペナルティ ・s倍のスケール などの一連の処理をクラス化 https://github.com/4uiiurz1/pytorch-adacos
通常の分類モデル の後にmetricモデルの 処理をつなげる インスタンス化
活用できそうなケース ・商品検索 - 例:自動販売機のジュース、コンビニにあるタバコ - 新商品が発売されても、画像が1枚あれば対応可能 ・レコメンド(ランキング) - 例:洋服のECサイトで選択した商品に似たアイテムを表示
参考リンク ・Metric Learning 入門 https://copypaste-ds.hatenablog.com/entry/2019/03/01/164155 ・モダンな深層距離学習 (deep metric learning) 手法:
SphereFace, CosFace, ArcFace https://qiita.com/yu4u/items/078054dfb5592cbb80cc ・ArcFaceの論文 https://arxiv.org/abs/1801.07698 ・Pytorchの実装コード https://github.com/4uiiurz1/pytorch-adacos