Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 KDD2024 | Relevance meets Diversity: A Us...
Search
cocomoff
September 12, 2024
Research
0
37
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
September 12, 2024
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
16
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
9
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
cocomoff
0
47
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
240
ClimaX: A foundation model for weather and climate
cocomoff
0
430
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
150
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
160
論文読み会 AAAI2022 | Online Certification of Preference-based Fairness for Personalized Recommender Systems
cocomoff
0
400
論文読み会 HT2010 | Automatic Construction of Travel Itineraries Using Social Breadcrumbs
cocomoff
0
89
Other Decks in Research
See All in Research
WikipediaやYouTubeにおける論文参照 / joss2024
corgies
1
260
marukotenant01/tenant-20240826
marketing2024
0
500
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
2.9k
Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences
sgk
1
280
日本語医療LLM評価ベンチマークの構築と性能分析
fta98
3
480
LINEチャットボット「全力肯定彼氏くん(LuC4)」の 1年を振り返る
o_ob
0
2.2k
Isotropy, Clusters, and Classifiers
hpprc
3
550
snlp2024_multiheadMoE
takase
0
380
授業評価アンケートのテキストマイニング
langstat
1
350
多様かつ継続的に変化する環境に適応する情報システム/thesis-defense-presentation
monochromegane
1
400
テキストマイニングことはじめー基本的な考え方からメディアディスコース研究への応用まで
langstat
1
110
「Goトレ」のご紹介
smartfukushilab1
0
590
Featured
See All Featured
The Invisible Side of Design
smashingmag
297
50k
A better future with KSS
kneath
237
17k
Clear Off the Table
cherdarchuk
91
320k
Pencils Down: Stop Designing & Start Developing
hursman
119
11k
Building Your Own Lightsaber
phodgson
102
6k
Done Done
chrislema
181
16k
We Have a Design System, Now What?
morganepeng
49
7.2k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.6k
Designing for Performance
lara
604
68k
Building a Scalable Design System with Sketch
lauravandoore
459
32k
Transcript
2024-09-03 Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration
through Recommendations (KDD’24) ಡΉਓ: @cocomoff
RSがサポートする知識探索の プロセスについて、3要素を考慮した研究 (1)推薦の関連性 (relevance) (2)推薦の多様性 (diversity) (3)ユーザの選択行動モデル
イントロ •(1)関連性 (2)多様性 をバランスさせる手法は広く研究されている • 推薦アイテムのリストをつくるとき、多様性を評価にいれる • リストを構築してから、re-rankingモデルをいれる •リストに対するユーザの消費行動モデルみたいなものも注目されている •UBM
(User-Behavior Modeling) •ユーザ のアイテム に関する確率モデル に関する研究 •{系列,会話的} {推薦,検索} の一領域 •Q: (推薦したあとの)ユーザモデルを考慮したとき、 推薦する部分は何をするべきなのか? •提案: ユーザが受け取る知識量を最大化する推薦システム u i p(u, i) 古典的なやつ (1998)
イントロ (続き) •提案: ユーザが受け取る知識量を最大化する推薦システム アイテム 情報のカバー率 (a)フィルターバブル的なもの (b)広い範囲を出しているが スカスカ過ぎてユーザが離脱してしまいそう (low
relevance, high diversity) (c) ちょうど良さそう ৽͍͠ख๏ΛఏҊ͢ΔλΠϓͱ͍͏ΑΓ ͜ͷ͋ͨΒ͍͠ίϯηϓτΛ ͏·͘Ϟσϧʹམͱͯ͠ݕূ͢Δจ
目次 •イントロ •ユーザモデルと問題の定式化 •実験
ユーザモデルに基づくシミュレーション •「リストに対するユーザの消費行動モデルみたいなものも注目されている」 の実装 (Alg. 1, Alg. 2) • メモ: いきなり天下り的に出てくるが「普通のプロセス」を書いたらこうなるというぐらいのもの
推薦 ユーザモデル ユーザがシステムから離脱するかどうか (離脱しなければ、次ステップの推薦) 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム に興味を持つ qi i 確率 で アイテム を消費する pi i 直感的には: コンセプトを達成するには、 ユーザモデル のもとで 推薦戦略 ( を出力する部分) をカスタマイズし、 ユーザができるだけ情報を探索できるようにする ({ηt }, {qi }, {pi }) Lt
補足: 推薦リストの作成 (既存手法ベース) •新しい推薦手法を提案する論文ではないので、既存手法を使う • (1) カバー率に基づいた手法 • (2) ペアワイズ距離に基づいた手法
(0)ペアワイズ距離関数 ・ユークリッド距離 ・コサイン類似度 ・ミンコフスキー距離 ・重み付きJaccard距離 d(i, j) := 1 − ∑ w∈W min{ziw , zjw } ∑ w∈W max{ziw , zjw } は例えばitem-userの インタラクションの{0,1} ziw (1)カバー率に基づく多様性 divC ( 𝒳 ) = 1 |C| ∥⋁ i∈X yi ∥0 ・ 個のカテゴリをどれぐらい含むか C (2)ペアワイズ距離に基づく多様性 divD ( 𝒳 ) = 1 | 𝒳 | − 1 ∑ i∈ 𝒳 ∑ j∈ 𝒳 d(i, j) ԿͰ͍͍ దͳඇྨࣅ ͜ͷू߹ Λ ؔ࿈είΞͰ ιʔτ͢Ε 𝒳 L ؔ࿈είΞ ྫ͑༧ଌϨʔτ 直感的には: 何かしらの多様性スコア関数を使い、 一連の推薦・やり取りの間にユーザが実際にインタラクションした アイテムの多様性を測定し、多くの情報に触れたことを調べる (memo: ただの多様な推薦では? 🤔)
定式化・やったこと •Given • アイテムの集合 • ユーザの集合 • 関連度スコア関数 • 多様性スコア関数
• ユーザのモデル • 次のページで •Task • 推薦アルゴリズム の設計 • 「maximize for the set of items that a user interacts with.」 • 実際にこれを設計する (次の次のページで) •やったこと: • 既存のオープンデータ (Movielens-1M、Coat、…) を対象に、このフレームワークを実装 • 既存の手法と比較し、関連性スコア (Recall) と多様性スコア (div) がどうなったかを観察 • 「関連性スコア」と「多様性スコア」の多目的最適化の問題において、良さそうな結果を得た ℐ 𝒰 ℛ : 𝒰 × ℐ → ℝ div : 2ℐ → ℝ 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰
ユーザのモデル 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム
に興味を持つ qi i 確率 で アイテム を消費する pi i Logit (全体リスト の上) Lt pi := ℛ(u, i) ∑ j∈Lt ℛ(u, j) 1 全体リスト Lt 2 3 j 確率 で 離脱 ηt 確率 で 離脱 ηt 確率 で 離脱 ηt Lt ∑ j=1 ηt (1 − ηt )j−1 j−1 ∏ i=1 (1 − qi ) 離脱確率 のモデル: ワイブル分布 (Web系で使われている) ηt ηt := 1 − q(t+1)γ−tγ , q = exp(− 1 λγ ),0 ≤ q ≤ 1 期待ステップ数の計算 (解析解) 𝔼 [steps] = ∞ ∑ t=1 t (qtγ − q(t+1)γ ) μ < 𝔼 [steps] < μ + 1,μ = λΓ(1 + 1/γ)
推薦戦略 EXPLORE •RS Alg. : maximize for the set of
items that a user interacts with. • いろいろ言ってきたが 「多様性スコアを最大化したい」 という問題になっている • 関連度スコアは通常の推薦モデルが出力する値 • 多様性スコアの限界効用 (限界多様性?) • それぞれの値は、適当に正規化されているとする (正規化された場合、 のように表記) 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰 ℛi := ℛ(u, i) 𝒯 i := div( 𝒳 t ∪ {i}) − div( 𝒳 t ) ̂ ℛi ͜͜ཧղͯ͠·ͤΜ •提案戦略 EXPLORE •クレイトンコピュラ関数を用い、スコア を求め、大きい順にリストに含める 𝒵 i := [ ̂ ℛ−a i + ̂ 𝒯 −α i − 1]−1/α ίϐϡϥҰ༷ͳपลͷྦྷੵ݁߹ΛϞσϧԽ͢Δؔ ΫϨΠτϯίϐϡϥೖྗͷ྆ํ͕࠷େʹͳΔͱʹۙͮ͘ コピュラ
実験 | 提案手法、既存手法、データセット •提案手法: EXPLORE (限界多様性)、EXPLORE-{D,C} (ペアワイズ・カバー率を直接スコアに使う) •既存手法: •関連性が高いものをk個出す •MMR:
最初の方に出てきたもの、検索リスト多様化の基本的な手法 •DUM: IJCAI’15の多様な推薦手法 (MMRと似ているがある主の最適化問題を解いてリストを出す) •DPP: 行列式点過程 (なんか最近流行っている気がするやつ): logdetの限界効用でリストをつくる •DGREC: GNN+BPRつかった推薦 こっちはコピュラが 関係ない方という理解
実験結果 | 精度(Recall) vs 多様性 (divC) •Quality-diversity trade-off
実験結果 | 推薦の戦略とスコア、Ablation •Best performance diversity strategy この辺は付録にしか出てこないやつ 多様なだけではダメで関連度も 大事ということを言っている気がする