WWW2020論文読み会 / ユーザ行動分析とオンライン実験で推薦のユーザインタラ クションの深まる理解へ / 秋葉原ラボ トリヴィッタヤシル ウィパウィ

WWW2020で発表された、以下の論文について紹介しています。

1.
Anderson, A., Maystre, L., Anderson, I., Mehrotra, R., & Lalmas, M. (2020).
Algorithmic Effects on the Diversity of Consumption on Spotify. 



2.
Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation.


Transcript

1. 【User Modeling】
 ユーザ行動分析とオンライン実験で推薦のユーザインタラ
 クションの深まる理解へ
 技術本部　秋葉原ラボ
 トリヴィッタヤシル　ウィパウィ
 WWW2020読み会

2. 紹介するWWW2020の論文
 1. Anderson, A., Maystre, L., Anderson, I., Mehrotra, R., & Lalmas, M. (2020). Algorithmic Effects on the Diversity of Consumption on Spotify. 
 → アルゴリズムが消費多様性に及ぼす影響
 
 2. Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation.
 → ドキュメント推薦のユーザ行動に関する調査 

3. 紹介するWWW2020の論文
 1. Anderson, A., Maystre, L., Anderson, I., Mehrotra, R., & Lalmas, M. (2020). Algorithmic Effects on the Diversity of Consumption on Spotify. 
 → アルゴリズムが消費多様性に及ぼす影響
 
 2. Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation.
 → ドキュメント推薦のユーザ行動に関する調査 

4. 概要
 • 音楽のサブスクサービスSpotifyの、アルゴリズムが消費多様 性に及ぼす影響の調査
 • 消費多様性が課金化・利用継続と強い正の相関があった
 • アルゴリズム経由消費（推薦など）はオーガニック消費（検索 など）より消費多様性が低い • レコメンドのこれからの課題：短期的なメトリクスだけではなく ユーザの消費多様性向上もどうやって同時に最適化できるの か
5. 先行研究と比べてすごいところ
 • 消費多様性は消費の種類数だけではなくアイテム間 の類似度も考慮し、サービスKPIとの関係を見るとこ ろ

6. GS-score（Generalist-Specialist score）
 • GS-score = ユーザの 消費多様性スコア
 • Generalist＝消費多様 性が高いユーザ 
 • Specialist:＝消費多様 性が低いユーザ
 多様性
 低
 高
 activityレベルは再生回数で分類 
 Waller, I., & Anderson, A. (2019). Generalists and specialists: Using community embeddings to quantify activity diversity in online platforms.
7. GS-scoreの計算
 ユーザu i の平均歌分散表現
 ユーザu i のGSスコア
 ・曲jの再生数(w j )で重み付け

8. Music embedding
 • ユーザプレイリストに word2vec
 ◦ continuous bag-of-word
 • 850 million プレイリスト利用
 ◦ 曲数が少なすぎ・多すぎプレイリス ト除外

9. 消費多様性とビジネスメトリクス
 多様性
 低
 高
 多様性
 低
 高
 一年後離脱したユーザの割合
 一年後課金転換したユーザの割合
 消費多様性↑サービス利用継続傾向↑課金転換↑
10. 消費多様性 vs 消費方法
 • アルゴリズム経由消費はオーガ ニック消費より消費多様性が低 い • ユーザの消費多様性が上がっ た時はオーガニック消費量が増 えたため
11. ユーザの多様性を考慮したレコメンドの
 インパクト調査
 • プレイリストの再生順番を決めるリランクロジックのA/Bテストが行 われた
 • リランクロジック
 ◦ Popularity ranker：人気度順
 ▪ 仮説：曲の特徴考慮していないため、Generalistに効きそう 
 ◦ Relevance ranker：曲分散表現を用いてユーザベクターにもっとも近い曲をピックアップ 
 ▪ 仮説：いつも聞く曲と類似する曲をピックアップするため、Specialistに効きそう 
 ◦ Learned ranker：ニューラルネットワークを用いて曲完走を正解データとし、曲をランキング 
 ▪ 仮説：ユーザ特徴とコンテンツ特徴の関係性が反映されたレコメンドになりそう 

12. A/Bテスト結果
 • 再生曲数と曲スキップ数のトレードオフ
 • PopularityよりRelevanceのほうが良い。特にSpecialists。
 • LearnedモデルはSpecialistsの曲スキップ数を9.8%も減らせた。
 • 従来のレコメンドロジックはGeneralistsよりSpecialistsによかった
 ◦ Generalists向け多様性を考慮するロジックのニーズがある
 メトリクス
 ・再生曲数：ユーザ満足度の先行指標 
 ・曲スキップ数：ユーザ不満足度の先行指標 

13. 紹介するWWW2020の論文
 1. Anderson, A., Maystre, L., Anderson, I., Mehrotra, R., & Lalmas, M. (2020). Algorithmic Effects on the Diversity of Consumption on Spotify. 
 → 消費多様性に及ぼすアルゴリズムの影響
 
 2. Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation. 
 → ドキュメント推薦のユーザ行動に関する調査

14. 概要
 • 大規模のデータプラットフォーム office.comのドキュメント推薦画面 （RDPと略す）のユーザ行動分析
 • ユーザ行動を調査するために３つ のメトリクスを定義した
 • RDPはドキュメントにアクセスする時 間を減らせることができた
 • オンライン実験で推薦理由とユーザ 行動の関係の調査を行った
 ドキュメントの推薦順はランキングモデルを用 いた
 推薦理由も表示

15. 先行研究と比べてすごいところ
 
 
 • ドキュメントレコメンドに特化するユーザ行動分析の 研究があまりなかった
 • 推薦理由とユーザ行動の関係の詳細調査が当研究 で初

16. RDPとユーザインタラクション
 
 • ユーザが推薦結果をクリックしている？
 
 ◦ click through rate (CTR) =
 ▪ インタラクションの頻度
 
 • 推薦は役に立つか？
 
 ◦ recognize rate (RR) =
 ▪ 正しい推薦結果の認識率
 ▪ RR = 73.4%。残りのユーザが開いたファイルはRDPに表示しているのにかかわらず慣れた方法でファイ ルを開きました。そのうち38.9%は「最近開いたファイルリスト」から。
 
 ◦ time to open (TTO) = ドキュメントを開いた時刻 - サービス来訪時刻 
 ▪ RDPのTTOは他の方法の52.6%で、ドキュメントの開く時間をだいぶ減らすことができた
 RDPから開いたドキュメント数 RDPに表示 Ո 開いたドキュメント数 クリック数 来訪数
17. 表示順別結果
 CTR
 
 ・CTRは右側より左側にあったほうが 高い
 　➢ ランキングバイアス
 　➢ インタフェースバイアス
 RR (recognize rate)
 
 ・RRは最初のページで右側より左側 にあったほうが高い
 ・2ページ目以降のRRが高い
 　➢ ユーザが積極的に推薦結果を探 り出すとRRが高い傾向
 TTO (time to open)
 
 ・表示順が後ろになるほどドキュメント を開く時間も長くなる傾向
 　➢ アイテムを表示順で目で追うため 表示順が後ろにあるほど時間がかか る

18. 推薦理由とユーザ行動の関係
 推薦理由（5グループ, 14種類）
 
 
 コメント
 編集
 シェア
 開く

19. 推薦理由とユーザ行動の関係
 A/Bテスト
 
 
 
 推薦理由生成モデル で
 Top 4 推薦理由を生成 
 アイテム A 推薦理由1 推薦理由2 推薦理由3 推薦理由4 アイテム B 推薦理由1 推薦理由2 推薦理由3 推薦理由4 ランダムで
 一つを選ぶ
 推薦モデルで
 推薦アイテムを生成 
 推薦理由n 実際に表示されるのは
 一つだけ
 ・バイアス除外のため推薦理由が4つも ないアイテムを除外 
 ・2週間のオンライン実験 

20. 推薦理由とユーザ行動の関係
 CTR
 
 ・CTRが最も高い理由は「他のユーザ がコメントした」
 ・CTRが最も高い個人利用に関する理 由は「編集した」
 ・「他のユーザが共有した」理由の CTRが一番低い
 
 
 RR (recognize rate)
 
 ・「他のユーザがコメントした」理由の CTRが一番高かかったが、RRは最も 低い
 ・「他のユーザが共有した」理由の CTRが一番低かったが、RRが一番高 い
 
 
 TTO (time to open)
 
 ・「他のユーザがコメントした」理由の TTOがもっとも短い 
 
 

21. Authorship × 推薦理由
 ユーザがドキュメントのオーナーの場合
 • 他のユーザの行動を示す推薦理由の効果が良 い
 ◦ 「他のユーザがコメントした」、「他のユーザが編集した」 のCTR, RR, TTOが高くなった
 
 • しかし、他のユーザが自分のドキュメントを共有 したという推薦理由に対する効果が小さい 
 ◦ 自分が認識済みのドキュメントのため

22. 最後に開いた時からの期間× 推薦理由
 • 最後に開いた時からの期間が長 いほどCTRが低く、TTOも長くなる
 ◦ ドキュメントが古くなるとユーザが開かなくな る傾向
 
 • 当日ドキュメントを開いたら、RRが 低いが、当日以前ならRRが高い
 ◦ RRとCTRの逆の傾向も見られた

23. 異なる推薦理由に影響されたユーザ行動
 ペアワイズ比較

24. 考察
 • ユーザがドキュメントオーナーの場合、「他のユーザがコメントした」や「他のユーザ が編集した」理由が効果的
 • 最後開いた時からかなり時間が経ったドキュメントの場合は「他のユーザが共有し た」理由が効果的
 • 「以前開いたファイル」の情報量が少ないため他に使える理由があったらそちらを 採用したほうが良さそう
 • 最適化したいメトリクスによって採用すべき推薦理由が異なる
 ◦ 例：
 認識率を優先するなら「他のユーザが共有した」より「他のユーザがコメントし た」のほうが効果的であるが、TTOを優先するなら「他のユーザがコメントした」 より「他のユーザが共有した」のほうが効果的

25. まとめ
 ユーザ行動分析とオンライン実験で推薦のユーザインタラクションの深 まる理解へ
 • 音楽推薦の例（Spotifyの場合）
 ◦ 消費多様性が高いユーザはサービス継続と課金転換の傾向も高い 
 ◦ ユーザの消費多様性レベルに合う推薦の必要性 
 ▪ Generalists（消費多様性が高いユーザ）向け多様性を考慮する推薦ロジックの開発の ニーズがある
 • ドキュメント推薦の例（office.comの場合）
 ◦ ドキュメント推薦画面はドキュメントにアクセスする時間を大分減らせた 
 ◦ コンテキスト（ドキュメントオーナーかどうか、最後に開いた時間からの期間）と最適 化したいメトリクスによって表示すべき推薦理由が異なる