Upgrade to Pro — share decks privately, control downloads, hide ads and more …

WWW2020論文読み会 / ユーザ行動分析とオンライン実験で推薦のユーザインタラ
 クションの深まる理解へ
 / 秋葉原ラボ トリヴィッタヤシル ウィパウィ

CyberAgent
August 18, 2020

WWW2020論文読み会 / ユーザ行動分析とオンライン実験で推薦のユーザインタラ
 クションの深まる理解へ
 / 秋葉原ラボ トリヴィッタヤシル ウィパウィ

WWW2020で発表された、以下の論文について紹介しています。

1.
Anderson, A., Maystre, L., Anderson, I., Mehrotra, R., & Lalmas, M. (2020).
Algorithmic Effects on the Diversity of Consumption on Spotify. 


2.
Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation.


CyberAgent

August 18, 2020
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. 紹介するWWW2020の論文
 1. Anderson, A., Maystre, L., Anderson, I., Mehrotra, R.,

    & Lalmas, M. (2020). Algorithmic Effects on the Diversity of Consumption on Spotify. 
 → アルゴリズムが消費多様性に及ぼす影響
 
 2. Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation.
 → ドキュメント推薦のユーザ行動に関する調査 

  2. 紹介するWWW2020の論文
 1. Anderson, A., Maystre, L., Anderson, I., Mehrotra, R.,

    & Lalmas, M. (2020). Algorithmic Effects on the Diversity of Consumption on Spotify. 
 → アルゴリズムが消費多様性に及ぼす影響
 
 2. Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation.
 → ドキュメント推薦のユーザ行動に関する調査 

  3. GS-score(Generalist-Specialist score)
 • GS-score = ユーザの 消費多様性スコア
 • Generalist=消費多様 性が高いユーザ

    
 • Specialist:=消費多様 性が低いユーザ
 多様性
 低
 高
 activityレベルは再生回数で分類 
 Waller, I., & Anderson, A. (2019). Generalists and specialists: Using community embeddings to quantify activity diversity in online platforms.
  4. Music embedding
 • ユーザプレイリストに word2vec
 ◦ continuous bag-of-word
 • 850

    million プレイリスト利用
 ◦ 曲数が少なすぎ・多すぎプレイリス ト除外

  5. ユーザの多様性を考慮したレコメンドの
 インパクト調査
 • プレイリストの再生順番を決めるリランクロジックのA/Bテストが行 われた
 • リランクロジック
 ◦ Popularity ranker:人気度順


    ▪ 仮説:曲の特徴考慮していないため、Generalistに効きそう 
 ◦ Relevance ranker:曲分散表現を用いてユーザベクターにもっとも近い曲をピックアップ 
 ▪ 仮説:いつも聞く曲と類似する曲をピックアップするため、Specialistに効きそう 
 ◦ Learned ranker:ニューラルネットワークを用いて曲完走を正解データとし、曲をランキング 
 ▪ 仮説:ユーザ特徴とコンテンツ特徴の関係性が反映されたレコメンドになりそう 

  6. 紹介するWWW2020の論文
 1. Anderson, A., Maystre, L., Anderson, I., Mehrotra, R.,

    & Lalmas, M. (2020). Algorithmic Effects on the Diversity of Consumption on Spotify. 
 → 消費多様性に及ぼすアルゴリズムの影響
 
 2. Xu, X., Hassan Awadallah, A., T. Dumais, S., Omar, F., Popp, B., Rounthwaite, R., & Jahanbakhsh, F. (2020). Understanding User Behavior For Document Recommendation. 
 → ドキュメント推薦のユーザ行動に関する調査

  7. 概要
 • 大規模のデータプラットフォーム office.comのドキュメント推薦画面 (RDPと略す)のユーザ行動分析
 • ユーザ行動を調査するために3つ のメトリクスを定義した
 • RDPはドキュメントにアクセスする時

    間を減らせることができた
 • オンライン実験で推薦理由とユーザ 行動の関係の調査を行った
 ドキュメントの推薦順はランキングモデルを用 いた
 推薦理由も表示

  8. RDPとユーザインタラクション
 
 • ユーザが推薦結果をクリックしている?
 
 ◦ click through rate (CTR)

    =
 ▪ インタラクションの頻度
 
 • 推薦は役に立つか?
 
 ◦ recognize rate (RR) =
 ▪ 正しい推薦結果の認識率
 ▪ RR = 73.4%。残りのユーザが開いたファイルはRDPに表示しているのにかかわらず慣れた方法でファイ ルを開きました。そのうち38.9%は「最近開いたファイルリスト」から。
 
 ◦ time to open (TTO) = ドキュメントを開いた時刻 - サービス来訪時刻 
 ▪ RDPのTTOは他の方法の52.6%で、ドキュメントの開く時間をだいぶ減らすことができた
 RDPから開いたドキュメント数 RDPに表示 Ո 開いたドキュメント数 クリック数 来訪数
  9. 表示順別結果
 CTR
 
 ・CTRは右側より左側にあったほうが 高い
  ➢ ランキングバイアス
  ➢ インタフェースバイアス
 RR

    (recognize rate)
 
 ・RRは最初のページで右側より左側 にあったほうが高い
 ・2ページ目以降のRRが高い
  ➢ ユーザが積極的に推薦結果を探 り出すとRRが高い傾向
 TTO (time to open)
 
 ・表示順が後ろになるほどドキュメント を開く時間も長くなる傾向
  ➢ アイテムを表示順で目で追うため 表示順が後ろにあるほど時間がかか る

  10. 推薦理由とユーザ行動の関係
 A/Bテスト
 
 
 
 推薦理由生成モデル で
 Top 4 推薦理由を生成

    
 アイテム A 推薦理由1 推薦理由2 推薦理由3 推薦理由4 アイテム B 推薦理由1 推薦理由2 推薦理由3 推薦理由4 ランダムで
 一つを選ぶ
 推薦モデルで
 推薦アイテムを生成 
 推薦理由n 実際に表示されるのは
 一つだけ
 ・バイアス除外のため推薦理由が4つも ないアイテムを除外 
 ・2週間のオンライン実験 

  11. 推薦理由とユーザ行動の関係
 CTR
 
 ・CTRが最も高い理由は「他のユーザ がコメントした」
 ・CTRが最も高い個人利用に関する理 由は「編集した」
 ・「他のユーザが共有した」理由の CTRが一番低い
 


    
 RR (recognize rate)
 
 ・「他のユーザがコメントした」理由の CTRが一番高かかったが、RRは最も 低い
 ・「他のユーザが共有した」理由の CTRが一番低かったが、RRが一番高 い
 
 
 TTO (time to open)
 
 ・「他のユーザがコメントした」理由の TTOがもっとも短い 
 
 

  12. Authorship × 推薦理由
 ユーザがドキュメントのオーナーの場合
 • 他のユーザの行動を示す推薦理由の効果が良 い
 ◦ 「他のユーザがコメントした」、「他のユーザが編集した」 のCTR,

    RR, TTOが高くなった
 
 • しかし、他のユーザが自分のドキュメントを共有 したという推薦理由に対する効果が小さい 
 ◦ 自分が認識済みのドキュメントのため

  13. 考察
 • ユーザがドキュメントオーナーの場合、「他のユーザがコメントした」や「他のユーザ が編集した」理由が効果的
 • 最後開いた時からかなり時間が経ったドキュメントの場合は「他のユーザが共有し た」理由が効果的
 • 「以前開いたファイル」の情報量が少ないため他に使える理由があったらそちらを 採用したほうが良さそう


    • 最適化したいメトリクスによって採用すべき推薦理由が異なる
 ◦ 例:
 認識率を優先するなら「他のユーザが共有した」より「他のユーザがコメントし た」のほうが効果的であるが、TTOを優先するなら「他のユーザがコメントした」 より「他のユーザが共有した」のほうが効果的

  14. まとめ
 ユーザ行動分析とオンライン実験で推薦のユーザインタラクションの深 まる理解へ
 • 音楽推薦の例(Spotifyの場合)
 ◦ 消費多様性が高いユーザはサービス継続と課金転換の傾向も高い 
 ◦ ユーザの消費多様性レベルに合う推薦の必要性

    
 ▪ Generalists(消費多様性が高いユーザ)向け多様性を考慮する推薦ロジックの開発の ニーズがある
 • ドキュメント推薦の例(office.comの場合)
 ◦ ドキュメント推薦画面はドキュメントにアクセスする時間を大分減らせた 
 ◦ コンテキスト(ドキュメントオーナーかどうか、最後に開いた時間からの期間)と最適 化したいメトリクスによって表示すべき推薦理由が異なる