[RecSys2023論文読み会]Interface Design to Mitigate Inflation in Recommender Systems

RecSys2023論文読み会での論文紹介資料です。
https://connpass.com/event/298043/

紹介論文：
Rana Shahout, Yehonatan Peisakhovsky, Sasha Stoikov, and Nikhil Garg: Interface Design to Mitigate Inflation in Recommender Systems, In Proceedings of the 17th ACM conference on Recommender systems, pp.897-903, 2023.

Transcript

1. Interface Design to Mitigate Inflation in Recommender Systems Rana Shahout, Yehonatan Peisakhovsky, Sasha Stoikov, and Nikhil Garg 2023年10月21日 RecSys2023論文読み会 紹介者：龍谷大学 奥 健太 紹介論文
2. 自己紹介 奥 健太（龍谷大学 先端理工学部） • 講義スライド ◦ 推薦システム概論 ◦ 推薦システム高校講座 • 推薦システム 演習問題集 • recsys-python | Pythonによる推薦システム演習問題集 • recsys-django | Djangoによる推薦システム開発チュートリアル 推薦システムを軸にした研究教育 著書のサポートサイトに推薦システム教材コンテンツを公開 RecSysコミュニティの裾野が広がれば...
3. 対象とする課題 | 評価値インフレーション 人気のあるアイテムに対して、ますます高評価が集まる傾向 [Filippas+2018] ➢ 正確な嗜好予測が困難に ➢ 人気アイテムへの注目はますます高まる一方で、 新規アイテムの発見が困難に [Aziz+2020] RQ: インタフェースデザインで評価値インフレーションを解決可能か？ 本研究 (1) 評価インタフェースによるユーザの評価付け傾向への影響を分析 (2) 個人化推薦が評価値に与える影響を分析
4. 分析対象 | Piki Music* 楽曲発見のためにデザインされたモバイルアプリ 1. ユーザに30秒間、楽曲動画クリップを提示 2. ユーザは、dislike, like, super-likeの いずれかで明示的に評価 3. 評価後、次の楽曲が再生される a. 次の楽曲は個人化推薦 またはランダム推薦により選択 *Piki Music: https://www.piki.nyc/ 出典：論文Figure 1 再生開始後、時間差でdislike, like, super-likeボタンが有効化 ※2021年 2月 21日に機能搭載
5. 分析対象 | Piki Music* 楽曲発見のためにデザインされたモバイルアプリ 1. ユーザに30秒間、楽曲動画クリップを提示 2. ユーザは、dislike, like, super-likeの いずれかで明示的に評価 3. 評価後、次の楽曲が再生される a. 次の楽曲は個人化推薦 またはランダム推薦により選択 再生開始後、時間差でdislike, like, super-likeボタンが有効化 *Piki Music: https://www.piki.nyc/ 出典：論文Figure 1 ※2021年 2月 21日に機能搭載
6. 自然実験 | タイマー導入前後6ヶ月間のデータ分析 dislike like super-like 3s 6s 12s 0s 30s dislike like super-like 3s 6s 12s 0s 30s 再生 時刻 2021年 2月 21日 pre timers dataset* 動画再生後すぐに評価可能 動画再生後、時間差で評価 396 users, 8,592 songs, 141,096 ratings post timers dataset* 1,071 users, 11,536 songs, 100,818 ratings *piki-music-dataset: https://github.com/sstoikov/piki-music-dataset
7. ランダム化比較試験（RCT） dislike like super-like 3s 6s 12s 0s 30s 再生 時刻 like like 9s likeボタンの解放タイミングを変えた3種類のTreatmentを用意し、 ユーザをランダムにいずれかのTreatmentに割り当てて実験 Tre. a Tre. b Tre. c 389 users, 59,100 songs, 5,454 ratings 308 users, 38,946 songs, 5,397 ratings 375 users, 43,633 songs, 5,418 ratings
8. 結果1（自然実験） | 評価インタフェースによるユーザの評価付け傾向への影響(1) タイマー導入前は、 どの楽曲に対してもlikeと評価するユーザも いれば、厳しめに評価するユーザもいる タイマー導入前後で、評価付け傾向が変化 dislike = 0 like = 1 super-like = 2 出典：論文Figure 2 (b)
9. 結果1（自然実験） | 評価インタフェースによるユーザの評価付け傾向への影響(2) タイマー導入により、 like数が減少し、 dislike数が増加 出典：論文Figure 2 (a)
10. 結果1（RCT） | 評価インタフェースによるユーザの評価付け傾向への影響(3) likeボタン解放の遅延により、 like数が減少し、 dislike数が増加 super-like数が増加 likeボタン解放まで既に9秒間待 ったうえで、さらに3秒間待って super-likeを与えるか判断 出典：論文Figure 2 (c)
11. 結果1（自然実験） | 評価インタフェースによるユーザの評価付け傾向への影響(4) タイマー導入により、どの楽曲に対しても likeと評価するユーザ数を10%から3%に 減少させることに成功 dislike = 0 like = 1 super-like = 2 出典：論文Figure 2 (b)
12. 1. ユーザに30秒間、楽曲動画クリップを提示 2. ユーザは、dislike, like, super-likeの いずれかで明示的に評価 3. 評価後、次の楽曲が再生される a. 次の楽曲は個人化推薦 またはランダム推薦により選択 分析対象 | Piki Music* 楽曲発見のためにデザインされたモバイルアプリ 再生開始後、時間差でdislike, like, super-likeボタンが有効化 *Piki Music: https://www.piki.nyc/ 出典：論文Figure 1 ※2021年 2月 21日に機能搭載
13. 結果2 | 個人化推薦が評価値に与える影響 (1) 個人化推薦 による楽曲 dislike = 0 like = 1 super-like = 2 ランダム推薦/個人化推薦による提示楽曲に対する平均評価値を比較 個人化推薦 ランダム推薦 ランダム推薦 による楽曲 ＜ 出典：論文Figure 3 (a)
14. 結果2 | 個人化推薦が評価値に与える影響 (2) dislike = 0 like = 1 super-like = 2 楽曲単位で各推薦方式による 平均評価値をプロット 出典：論文Figure 3 (b)
15. 結果2 | 個人化推薦が評価値に与える影響 (3) 多くの楽曲が、ランダム推薦よりも 個人化推薦により提示されたときの方が 高い評価値が与えられている dislike = 0 like = 1 super-like = 2 楽曲単位で各推薦方式による 平均評価値をプロット 出典：論文Figure 3 (b)
16. RQ: インタフェースデザインで評価値インフレーションを解決可能か？ まとめ (1) 評価インタフェースによるユーザの評価付け傾向への影響を分析 ➢ タイマー導入前後で、評価付け傾向が変化 ➢ タイマー導入により、どの楽曲に対してもlikeと評価するユーザ数を 10%から3%に減少させることに成功 (2) 個人化推薦が評価値に与える影響を分析 ➢ 多くの楽曲が、ランダム推薦よりも個人化推薦により提示されたとき の方が高い評価値が与えられている