Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Siamese neural networks in recommendation
Search
Newbees Inc
June 06, 2024
Research
0
110
Siamese neural networks in recommendation
Newbees Inc
June 06, 2024
Tweet
Share
More Decks by Newbees Inc
See All by Newbees Inc
Matching theory-based recommender systems in online dating
newbees
0
120
Newbees採用資料(2025.01更新)
newbees
2
40k
Goで並⾏処理を⽤いた 画像処理を実装した話|株式会社Newbees
newbees
0
240
Other Decks in Research
See All in Research
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
130
数理最適化に基づく制御
mickey_kubo
6
690
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
1.3k
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
270
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
150
最適化と機械学習による問題解決
mickey_kubo
0
150
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
810
学生向けアンケート<データサイエンティストについて>
datascientistsociety
PRO
0
4.6k
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
510
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
350
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
satai
3
240
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
670
Featured
See All Featured
Being A Developer After 40
akosma
90
590k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Adopting Sorbet at Scale
ufuk
77
9.5k
Six Lessons from altMBA
skipperchong
28
3.9k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Building an army of robots
kneath
306
45k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
A better future with KSS
kneath
238
17k
Balancing Empowerment & Direction
lara
1
510
Transcript
Siamese neural networks in recommendation Newbees論⽂読み会 ⾶⽥ 祥弥
⽬次 • 概要 • Siamese Neural Networks(SNN) • 適⽤分野 •
適⽤タスク • 順伝播構造のアルゴリズム • 評価指標 • 今後の課題
概要 Siamese neural network(SNN)のRecommender Systems(RS)への適⽤⽂献がこれまで になく、そのため、本論⽂はそれらをサーベイし、以下に沿って⼿法や課題について詳説している。 • SNNをRSに適⽤する最新の⼿法(~2023)について • 対象となるRSのタスク、SNNの適⽤⽅法、評価⽅法について
• ⽂献や実験的観点から考えられるSNNxRSにおけるギャップや課題について
Siamese Neural Networks (SNN) 1993年より2つの署名の類似度を測定するタスクで使われるようになり、代表的なアーキテクチャ として、Pairs(1993)とTriplets(2015)形式のものがある。
Siamese Neural Networks (SNN): Pair形式 • ⼊⼒には類似度を測りたい2画像を⽤いる。順伝播の際に2つのnetwork間で重みを共有する形 で学習が進む。 • 各networkから抽出した特徴ベクトルから
損失関数により類似度(距離)を推定する。 • 損失関数にはBinary Cross Entropyや Contrastive lossが⽤いられる。
Siamese Neural Networks (SNN): Triplets形式 • ⼊⼒は3つあり、anchorには何かしらの画像、positiveにはanchorと類似した画像、negative にはanchorと類似していない画像を⼊⼒する。 • 順伝播構造はPairs形式と同じ
であるが損失関数が異なる。 • 損失関数にはTriplet Lossが ⽤いられる。 A, P, Nはanchor, positive, negative αはpositiveとnegativeのマージン(=1) e()は各⼊⼒パラメータの埋め込み
適⽤分野 SNNによるRSは2018年まで⽂献がなく、ここ数年で発展してきている。 主にEC、ファッション、映画、動画などで適⽤されており、⼊⼒データには画像だけでなく、 テキストや⾳が利⽤されることもある。
適⽤タスク RSにおけるSNNの利⽤⽬的として、純粋な予測のために使⽤する場合と、特徴量抽出を⾏う場合 がある。 順伝播構造は両⽅に⽤いられ、クラスタリングやLTRは後者として中間データで利⽤することを⽬ 的としている。
順伝播構造のアルゴリズム 順伝播構造を利⽤する場合には、主に5つのアーキテクチャが利⽤されており、 2023年の時点では最もCNNが利⽤されている。 TransformerやGCN(Graph Conv Network)などは発表から数年ほどの論⽂であるため、適⽤ 例が少ないものと思われる。
評価指標 RSの領域がエラーメトリクスよりもランキングメトリクス を考慮する傾向がある。 また、そのことから⼀般的な評価指標とされる、 Recall@K, Presicion@K, Accuracy, AUC, F1, NDCG,
MRR, HR などが利⽤されている。
今後の課題 • 未だ発展途上の領域であるため、アルゴリズムや損失関数などの提案により、改善する余地が ある。 • どの研究も精度以外の評価指標(多様性やカバレッジなど)を考慮できていないため、バイアス (⼈気度合いによる偏り)が起こる可能性がある。 • SNNのRS適⽤領域が乏しく且つ、シンプルなアルゴリズムであるため、未適⽤の主な領域 (Web、SNS等)へ適⽤することで、新たなプラスな⾯での寄与を促すことが必要である。