Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 KDD2024 | Relevance meets Diversity: A Us...
Search
cocomoff
September 12, 2024
Research
0
160
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
September 12, 2024
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
14
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
71
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
30
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
cocomoff
0
59
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
260
ClimaX: A foundation model for weather and climate
cocomoff
0
520
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
180
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
180
論文読み会 AAAI2022 | Online Certification of Preference-based Fairness for Personalized Recommender Systems
cocomoff
0
420
Other Decks in Research
See All in Research
Weekly AI Agents News! 10月号 プロダクト/ニュースのアーカイブ
masatoto
1
190
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
460
Human-Informed Machine Learning Models and Interactions
hiromu1996
2
570
セミコン地域における総合交通戦略
trafficbrain
0
110
CoRL2024サーベイ
rpc
1
1.5k
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
5
1.1k
Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping
satai
2
130
Weekly AI Agents News!
masatoto
30
53k
IM2024
mamoruk
0
220
ナレッジプロデューサーとしてのミドルマネージャー支援 - MIMIGURI「知識創造室」の事例の考察 -
chiemitaki
0
210
言語モデルLUKEを経済の知識に特化させたモデル「UBKE-LUKE」について
petter0201
0
190
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
0
120
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
22
1.3k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Practical Orchestrator
shlominoach
186
10k
Docker and Python
trallard
44
3.3k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
Designing Experiences People Love
moore
140
23k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Site-Speed That Sticks
csswizardry
4
380
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Agile that works and the tools we love
rasmusluckow
328
21k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
2024-09-03 Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration
through Recommendations (KDD’24) ಡΉਓ: @cocomoff
RSがサポートする知識探索の プロセスについて、3要素を考慮した研究 (1)推薦の関連性 (relevance) (2)推薦の多様性 (diversity) (3)ユーザの選択行動モデル
イントロ •(1)関連性 (2)多様性 をバランスさせる手法は広く研究されている • 推薦アイテムのリストをつくるとき、多様性を評価にいれる • リストを構築してから、re-rankingモデルをいれる •リストに対するユーザの消費行動モデルみたいなものも注目されている •UBM
(User-Behavior Modeling) •ユーザ のアイテム に関する確率モデル に関する研究 •{系列,会話的} {推薦,検索} の一領域 •Q: (推薦したあとの)ユーザモデルを考慮したとき、 推薦する部分は何をするべきなのか? •提案: ユーザが受け取る知識量を最大化する推薦システム u i p(u, i) 古典的なやつ (1998)
イントロ (続き) •提案: ユーザが受け取る知識量を最大化する推薦システム アイテム 情報のカバー率 (a)フィルターバブル的なもの (b)広い範囲を出しているが スカスカ過ぎてユーザが離脱してしまいそう (low
relevance, high diversity) (c) ちょうど良さそう ৽͍͠ख๏ΛఏҊ͢ΔλΠϓͱ͍͏ΑΓ ͜ͷ͋ͨΒ͍͠ίϯηϓτΛ ͏·͘Ϟσϧʹམͱͯ͠ݕূ͢Δจ
目次 •イントロ •ユーザモデルと問題の定式化 •実験
ユーザモデルに基づくシミュレーション •「リストに対するユーザの消費行動モデルみたいなものも注目されている」 の実装 (Alg. 1, Alg. 2) • メモ: いきなり天下り的に出てくるが「普通のプロセス」を書いたらこうなるというぐらいのもの
推薦 ユーザモデル ユーザがシステムから離脱するかどうか (離脱しなければ、次ステップの推薦) 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム に興味を持つ qi i 確率 で アイテム を消費する pi i 直感的には: コンセプトを達成するには、 ユーザモデル のもとで 推薦戦略 ( を出力する部分) をカスタマイズし、 ユーザができるだけ情報を探索できるようにする ({ηt }, {qi }, {pi }) Lt
補足: 推薦リストの作成 (既存手法ベース) •新しい推薦手法を提案する論文ではないので、既存手法を使う • (1) カバー率に基づいた手法 • (2) ペアワイズ距離に基づいた手法
(0)ペアワイズ距離関数 ・ユークリッド距離 ・コサイン類似度 ・ミンコフスキー距離 ・重み付きJaccard距離 d(i, j) := 1 − ∑ w∈W min{ziw , zjw } ∑ w∈W max{ziw , zjw } は例えばitem-userの インタラクションの{0,1} ziw (1)カバー率に基づく多様性 divC ( 𝒳 ) = 1 |C| ∥⋁ i∈X yi ∥0 ・ 個のカテゴリをどれぐらい含むか C (2)ペアワイズ距離に基づく多様性 divD ( 𝒳 ) = 1 | 𝒳 | − 1 ∑ i∈ 𝒳 ∑ j∈ 𝒳 d(i, j) ԿͰ͍͍ దͳඇྨࣅ ͜ͷू߹ Λ ؔ࿈είΞͰ ιʔτ͢Ε 𝒳 L ؔ࿈είΞ ྫ͑༧ଌϨʔτ 直感的には: 何かしらの多様性スコア関数を使い、 一連の推薦・やり取りの間にユーザが実際にインタラクションした アイテムの多様性を測定し、多くの情報に触れたことを調べる (memo: ただの多様な推薦では? 🤔)
定式化・やったこと •Given • アイテムの集合 • ユーザの集合 • 関連度スコア関数 • 多様性スコア関数
• ユーザのモデル • 次のページで •Task • 推薦アルゴリズム の設計 • 「maximize for the set of items that a user interacts with.」 • 実際にこれを設計する (次の次のページで) •やったこと: • 既存のオープンデータ (Movielens-1M、Coat、…) を対象に、このフレームワークを実装 • 既存の手法と比較し、関連性スコア (Recall) と多様性スコア (div) がどうなったかを観察 • 「関連性スコア」と「多様性スコア」の多目的最適化の問題において、良さそうな結果を得た ℐ 𝒰 ℛ : 𝒰 × ℐ → ℝ div : 2ℐ → ℝ 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰
ユーザのモデル 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム
に興味を持つ qi i 確率 で アイテム を消費する pi i Logit (全体リスト の上) Lt pi := ℛ(u, i) ∑ j∈Lt ℛ(u, j) 1 全体リスト Lt 2 3 j 確率 で 離脱 ηt 確率 で 離脱 ηt 確率 で 離脱 ηt Lt ∑ j=1 ηt (1 − ηt )j−1 j−1 ∏ i=1 (1 − qi ) 離脱確率 のモデル: ワイブル分布 (Web系で使われている) ηt ηt := 1 − q(t+1)γ−tγ , q = exp(− 1 λγ ),0 ≤ q ≤ 1 期待ステップ数の計算 (解析解) 𝔼 [steps] = ∞ ∑ t=1 t (qtγ − q(t+1)γ ) μ < 𝔼 [steps] < μ + 1,μ = λΓ(1 + 1/γ)
推薦戦略 EXPLORE •RS Alg. : maximize for the set of
items that a user interacts with. • いろいろ言ってきたが 「多様性スコアを最大化したい」 という問題になっている • 関連度スコアは通常の推薦モデルが出力する値 • 多様性スコアの限界効用 (限界多様性?) • それぞれの値は、適当に正規化されているとする (正規化された場合、 のように表記) 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰 ℛi := ℛ(u, i) 𝒯 i := div( 𝒳 t ∪ {i}) − div( 𝒳 t ) ̂ ℛi ͜͜ཧղͯ͠·ͤΜ •提案戦略 EXPLORE •クレイトンコピュラ関数を用い、スコア を求め、大きい順にリストに含める 𝒵 i := [ ̂ ℛ−a i + ̂ 𝒯 −α i − 1]−1/α ίϐϡϥҰ༷ͳपลͷྦྷੵ݁߹ΛϞσϧԽ͢Δؔ ΫϨΠτϯίϐϡϥೖྗͷ྆ํ͕࠷େʹͳΔͱʹۙͮ͘ コピュラ
実験 | 提案手法、既存手法、データセット •提案手法: EXPLORE (限界多様性)、EXPLORE-{D,C} (ペアワイズ・カバー率を直接スコアに使う) •既存手法: •関連性が高いものをk個出す •MMR:
最初の方に出てきたもの、検索リスト多様化の基本的な手法 •DUM: IJCAI’15の多様な推薦手法 (MMRと似ているがある主の最適化問題を解いてリストを出す) •DPP: 行列式点過程 (なんか最近流行っている気がするやつ): logdetの限界効用でリストをつくる •DGREC: GNN+BPRつかった推薦 こっちはコピュラが 関係ない方という理解
実験結果 | 精度(Recall) vs 多様性 (divC) •Quality-diversity trade-off
実験結果 | 推薦の戦略とスコア、Ablation •Best performance diversity strategy この辺は付録にしか出てこないやつ 多様なだけではダメで関連度も 大事ということを言っている気がする