Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Siamese neural networks in recommendation
Search
Newbees Inc
June 06, 2024
Research
0
26
Siamese neural networks in recommendation
Newbees Inc
June 06, 2024
Tweet
Share
More Decks by Newbees Inc
See All by Newbees Inc
Matching theory-based recommender systems in online dating
newbees
0
42
Newbees採用資料(2024.02更新)
newbees
2
20k
Goで並⾏処理を⽤いた 画像処理を実装した話|株式会社Newbees
newbees
0
150
Other Decks in Research
See All in Research
20240523 Japan Investment Conference 2024
cfajapan
0
710
"多様な推薦"はユーザーの目にどう映るか
kuri8ive
3
180
SSII2024 [OS1] 現場の課題を解決する ロボットラーニング
ssii
PRO
0
330
仮説検定とP値
shuntaros
6
6.7k
SSII2024 [PD] 30周年記念特別企画SSII 技術マップ / LLMサーベイ
ssii
PRO
0
390
単語埋め込みを用いた日本語オノマトペにおける有声・無声子音の対立による音象徴の分析
shunnosukemotomura
0
320
Alexander Mielke Hellinger--Kantorovich (a.k.a. Wasserstein-Fisher-Rao) Spaces and Gradient Flows
jjzhu
3
250
SSII2024 [TS3] 画像認識におけるマルチモーダル基盤モデル ~基盤モデル、あなたのタスクに役立つかも?~
ssii
PRO
0
590
新入生向けチュートリアル:文献のサーベイv2
a1da4
9
7.6k
独立成分分析を用いた埋め込み表現の視覚的な理解
momoseoyama
3
610
SSII2024 [TS1] 生成AIと3次元ビジョン ~3次元生成AIの最先端の理論~
ssii
PRO
1
660
Engineering LaCAM∗: Towards Real-Time, Large-Scale, and Near-Optimal Multi-Agent Pathfinding
kei18
0
290
Featured
See All Featured
How GitHub (no longer) Works
holman
305
140k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
661
120k
Code Reviewing Like a Champion
maltzj
516
39k
Producing Creativity
orderedlist
PRO
338
39k
Mobile First: as difficult as doing things right
swwweet
218
8.7k
Infographics Made Easy
chrislema
238
18k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
The Cult of Friendly URLs
andyhume
74
5.8k
Designing for humans not robots
tammielis
247
25k
Building an army of robots
kneath
300
42k
It's Worth the Effort
3n
180
27k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Transcript
Siamese neural networks in recommendation Newbees論⽂読み会 ⾶⽥ 祥弥
⽬次 • 概要 • Siamese Neural Networks(SNN) • 適⽤分野 •
適⽤タスク • 順伝播構造のアルゴリズム • 評価指標 • 今後の課題
概要 Siamese neural network(SNN)のRecommender Systems(RS)への適⽤⽂献がこれまで になく、そのため、本論⽂はそれらをサーベイし、以下に沿って⼿法や課題について詳説している。 • SNNをRSに適⽤する最新の⼿法(~2023)について • 対象となるRSのタスク、SNNの適⽤⽅法、評価⽅法について
• ⽂献や実験的観点から考えられるSNNxRSにおけるギャップや課題について
Siamese Neural Networks (SNN) 1993年より2つの署名の類似度を測定するタスクで使われるようになり、代表的なアーキテクチャ として、Pairs(1993)とTriplets(2015)形式のものがある。
Siamese Neural Networks (SNN): Pair形式 • ⼊⼒には類似度を測りたい2画像を⽤いる。順伝播の際に2つのnetwork間で重みを共有する形 で学習が進む。 • 各networkから抽出した特徴ベクトルから
損失関数により類似度(距離)を推定する。 • 損失関数にはBinary Cross Entropyや Contrastive lossが⽤いられる。
Siamese Neural Networks (SNN): Triplets形式 • ⼊⼒は3つあり、anchorには何かしらの画像、positiveにはanchorと類似した画像、negative にはanchorと類似していない画像を⼊⼒する。 • 順伝播構造はPairs形式と同じ
であるが損失関数が異なる。 • 損失関数にはTriplet Lossが ⽤いられる。 A, P, Nはanchor, positive, negative αはpositiveとnegativeのマージン(=1) e()は各⼊⼒パラメータの埋め込み
適⽤分野 SNNによるRSは2018年まで⽂献がなく、ここ数年で発展してきている。 主にEC、ファッション、映画、動画などで適⽤されており、⼊⼒データには画像だけでなく、 テキストや⾳が利⽤されることもある。
適⽤タスク RSにおけるSNNの利⽤⽬的として、純粋な予測のために使⽤する場合と、特徴量抽出を⾏う場合 がある。 順伝播構造は両⽅に⽤いられ、クラスタリングやLTRは後者として中間データで利⽤することを⽬ 的としている。
順伝播構造のアルゴリズム 順伝播構造を利⽤する場合には、主に5つのアーキテクチャが利⽤されており、 2023年の時点では最もCNNが利⽤されている。 TransformerやGCN(Graph Conv Network)などは発表から数年ほどの論⽂であるため、適⽤ 例が少ないものと思われる。
評価指標 RSの領域がエラーメトリクスよりもランキングメトリクス を考慮する傾向がある。 また、そのことから⼀般的な評価指標とされる、 Recall@K, Presicion@K, Accuracy, AUC, F1, NDCG,
MRR, HR などが利⽤されている。
今後の課題 • 未だ発展途上の領域であるため、アルゴリズムや損失関数などの提案により、改善する余地が ある。 • どの研究も精度以外の評価指標(多様性やカバレッジなど)を考慮できていないため、バイアス (⼈気度合いによる偏り)が起こる可能性がある。 • SNNのRS適⽤領域が乏しく且つ、シンプルなアルゴリズムであるため、未適⽤の主な領域 (Web、SNS等)へ適⽤することで、新たなプラスな⾯での寄与を促すことが必要である。