Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 KDD2024 | Relevance meets Diversity: A Us...
Search
cocomoff
September 12, 2024
Research
0
110
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
September 12, 2024
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
42
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
19
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
cocomoff
0
54
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
260
ClimaX: A foundation model for weather and climate
cocomoff
0
470
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
170
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
170
論文読み会 AAAI2022 | Online Certification of Preference-based Fairness for Personalized Recommender Systems
cocomoff
0
410
論文読み会 HT2010 | Automatic Construction of Travel Itineraries Using Social Breadcrumbs
cocomoff
0
91
Other Decks in Research
See All in Research
第 2 部 11 章「大規模言語モデルの研究開発から実運用に向けて」に向けて / MLOps Book Chapter 11
upura
0
430
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
350
テキストマイニングことはじめー基本的な考え方からメディアディスコース研究への応用まで
langstat
1
150
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
260
CoRL2024サーベイ
rpc
1
1.1k
アプリケーションから知るモデルマージ
maguro27
0
170
[ECCV2024読み会] 衛星画像からの地上画像生成
elith
1
900
snlp2024_multiheadMoE
takase
0
460
Weekly AI Agents News! 11月号 論文のアーカイブ
masatoto
0
180
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
5
1.6k
「並列化時代の乱数生成」
abap34
3
900
打率7割を実現する、プロダクトディスカバリーの7つの極意(pmconf2024)
geshi0820
0
130
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Automating Front-end Workflow
addyosmani
1366
200k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.2k
Music & Morning Musume
bryan
46
6.2k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
A Tale of Four Properties
chriscoyier
157
23k
GraphQLとの向き合い方2022年版
quramy
44
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Reflections from 52 weeks, 52 projects
jeffersonlam
347
20k
Transcript
2024-09-03 Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration
through Recommendations (KDD’24) ಡΉਓ: @cocomoff
RSがサポートする知識探索の プロセスについて、3要素を考慮した研究 (1)推薦の関連性 (relevance) (2)推薦の多様性 (diversity) (3)ユーザの選択行動モデル
イントロ •(1)関連性 (2)多様性 をバランスさせる手法は広く研究されている • 推薦アイテムのリストをつくるとき、多様性を評価にいれる • リストを構築してから、re-rankingモデルをいれる •リストに対するユーザの消費行動モデルみたいなものも注目されている •UBM
(User-Behavior Modeling) •ユーザ のアイテム に関する確率モデル に関する研究 •{系列,会話的} {推薦,検索} の一領域 •Q: (推薦したあとの)ユーザモデルを考慮したとき、 推薦する部分は何をするべきなのか? •提案: ユーザが受け取る知識量を最大化する推薦システム u i p(u, i) 古典的なやつ (1998)
イントロ (続き) •提案: ユーザが受け取る知識量を最大化する推薦システム アイテム 情報のカバー率 (a)フィルターバブル的なもの (b)広い範囲を出しているが スカスカ過ぎてユーザが離脱してしまいそう (low
relevance, high diversity) (c) ちょうど良さそう ৽͍͠ख๏ΛఏҊ͢ΔλΠϓͱ͍͏ΑΓ ͜ͷ͋ͨΒ͍͠ίϯηϓτΛ ͏·͘Ϟσϧʹམͱͯ͠ݕূ͢Δจ
目次 •イントロ •ユーザモデルと問題の定式化 •実験
ユーザモデルに基づくシミュレーション •「リストに対するユーザの消費行動モデルみたいなものも注目されている」 の実装 (Alg. 1, Alg. 2) • メモ: いきなり天下り的に出てくるが「普通のプロセス」を書いたらこうなるというぐらいのもの
推薦 ユーザモデル ユーザがシステムから離脱するかどうか (離脱しなければ、次ステップの推薦) 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム に興味を持つ qi i 確率 で アイテム を消費する pi i 直感的には: コンセプトを達成するには、 ユーザモデル のもとで 推薦戦略 ( を出力する部分) をカスタマイズし、 ユーザができるだけ情報を探索できるようにする ({ηt }, {qi }, {pi }) Lt
補足: 推薦リストの作成 (既存手法ベース) •新しい推薦手法を提案する論文ではないので、既存手法を使う • (1) カバー率に基づいた手法 • (2) ペアワイズ距離に基づいた手法
(0)ペアワイズ距離関数 ・ユークリッド距離 ・コサイン類似度 ・ミンコフスキー距離 ・重み付きJaccard距離 d(i, j) := 1 − ∑ w∈W min{ziw , zjw } ∑ w∈W max{ziw , zjw } は例えばitem-userの インタラクションの{0,1} ziw (1)カバー率に基づく多様性 divC ( 𝒳 ) = 1 |C| ∥⋁ i∈X yi ∥0 ・ 個のカテゴリをどれぐらい含むか C (2)ペアワイズ距離に基づく多様性 divD ( 𝒳 ) = 1 | 𝒳 | − 1 ∑ i∈ 𝒳 ∑ j∈ 𝒳 d(i, j) ԿͰ͍͍ దͳඇྨࣅ ͜ͷू߹ Λ ؔ࿈είΞͰ ιʔτ͢Ε 𝒳 L ؔ࿈είΞ ྫ͑༧ଌϨʔτ 直感的には: 何かしらの多様性スコア関数を使い、 一連の推薦・やり取りの間にユーザが実際にインタラクションした アイテムの多様性を測定し、多くの情報に触れたことを調べる (memo: ただの多様な推薦では? 🤔)
定式化・やったこと •Given • アイテムの集合 • ユーザの集合 • 関連度スコア関数 • 多様性スコア関数
• ユーザのモデル • 次のページで •Task • 推薦アルゴリズム の設計 • 「maximize for the set of items that a user interacts with.」 • 実際にこれを設計する (次の次のページで) •やったこと: • 既存のオープンデータ (Movielens-1M、Coat、…) を対象に、このフレームワークを実装 • 既存の手法と比較し、関連性スコア (Recall) と多様性スコア (div) がどうなったかを観察 • 「関連性スコア」と「多様性スコア」の多目的最適化の問題において、良さそうな結果を得た ℐ 𝒰 ℛ : 𝒰 × ℐ → ℝ div : 2ℐ → ℝ 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰
ユーザのモデル 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム
に興味を持つ qi i 確率 で アイテム を消費する pi i Logit (全体リスト の上) Lt pi := ℛ(u, i) ∑ j∈Lt ℛ(u, j) 1 全体リスト Lt 2 3 j 確率 で 離脱 ηt 確率 で 離脱 ηt 確率 で 離脱 ηt Lt ∑ j=1 ηt (1 − ηt )j−1 j−1 ∏ i=1 (1 − qi ) 離脱確率 のモデル: ワイブル分布 (Web系で使われている) ηt ηt := 1 − q(t+1)γ−tγ , q = exp(− 1 λγ ),0 ≤ q ≤ 1 期待ステップ数の計算 (解析解) 𝔼 [steps] = ∞ ∑ t=1 t (qtγ − q(t+1)γ ) μ < 𝔼 [steps] < μ + 1,μ = λΓ(1 + 1/γ)
推薦戦略 EXPLORE •RS Alg. : maximize for the set of
items that a user interacts with. • いろいろ言ってきたが 「多様性スコアを最大化したい」 という問題になっている • 関連度スコアは通常の推薦モデルが出力する値 • 多様性スコアの限界効用 (限界多様性?) • それぞれの値は、適当に正規化されているとする (正規化された場合、 のように表記) 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰 ℛi := ℛ(u, i) 𝒯 i := div( 𝒳 t ∪ {i}) − div( 𝒳 t ) ̂ ℛi ͜͜ཧղͯ͠·ͤΜ •提案戦略 EXPLORE •クレイトンコピュラ関数を用い、スコア を求め、大きい順にリストに含める 𝒵 i := [ ̂ ℛ−a i + ̂ 𝒯 −α i − 1]−1/α ίϐϡϥҰ༷ͳपลͷྦྷੵ݁߹ΛϞσϧԽ͢Δؔ ΫϨΠτϯίϐϡϥೖྗͷ྆ํ͕࠷େʹͳΔͱʹۙͮ͘ コピュラ
実験 | 提案手法、既存手法、データセット •提案手法: EXPLORE (限界多様性)、EXPLORE-{D,C} (ペアワイズ・カバー率を直接スコアに使う) •既存手法: •関連性が高いものをk個出す •MMR:
最初の方に出てきたもの、検索リスト多様化の基本的な手法 •DUM: IJCAI’15の多様な推薦手法 (MMRと似ているがある主の最適化問題を解いてリストを出す) •DPP: 行列式点過程 (なんか最近流行っている気がするやつ): logdetの限界効用でリストをつくる •DGREC: GNN+BPRつかった推薦 こっちはコピュラが 関係ない方という理解
実験結果 | 精度(Recall) vs 多様性 (divC) •Quality-diversity trade-off
実験結果 | 推薦の戦略とスコア、Ablation •Best performance diversity strategy この辺は付録にしか出てこないやつ 多様なだけではダメで関連度も 大事ということを言っている気がする