関 喜史, 福島 良典, 吉田 宏司, 松尾 豊 株式会社Gunosy NLP 2018 招待論文講演 2018 年 3 月 15 日 多様性の導入による 推薦システムにおけるユーザ体験向上の試み

2 ©Gunosy Inc. 目次 ● 研究の背景と目的 ○ 論文には書かれていないグランドデザイン・ビジネス上の背景につい て ● 研究の内容について ● 受賞を受けて

3 ©Gunosy Inc. 目次 ● 研究の背景と目的 ○ 論文には書かれていないグランドデザイン・ビジネス上の背景につい て ● 研究の内容について ● 受賞を受けて

4 ©Gunosy Inc. 研究の目的 多様性が推薦システムにどのような影響を与えるか分析する ● ニュース推薦システムに多様性を導入することで，ニュース配信サービスの 長期的効用を高められるのか ○ 多様性によってどのような改善が期待できるのか ○ 多様性をどのように導入するのか ● 多様性を導入することによるユーザ行動への影響 ○ ニュース推薦システムを利用したニュース配信サービスであるグノシー のユーザ行動分析から，ニュース推薦システムの課題を示す ○ グノシーのニュース推薦システムに多様性を導入し，ユーザ行動がど のように変化したか

5 ©Gunosy Inc. 研究の目的 多様性が推薦システムにどのような影響を与えるか分析する ● ニュース推薦システムに多様性を導入することで，ニュース配信サービスの 長期的効用を高められるのか ○ 多様性によってどのような改善が期待できるのか ○ 多様性をどのように導入するのか ● 多様性を導入することによるユーザ行動への影響 ○ ニュース推薦システムを利用したニュース配信サービスであるグノシー のユーザ行動分析から，ニュース推薦システムの課題を示す ○ グノシーのニュース推薦システムに多様性を導入し，ユーザ行動がど のように変化したか

6 ©Gunosy Inc. 推薦システムの基本的な構造 ● 推薦システムのアルゴリズムは以下の2段階 ○ ユーザとアイテムのマッチング関数 ○ 推薦されるアイテムリストの構築 ● 評価は推薦されるアイテムリストをユーザが好むか ○ 小規模な実験におけるアンケート調査 ○ 実際にサービスに適用したときのユーザ行動の変化 ○ 既に存在するユーザ行動ログの再現率 ● 代表的な指標 ○ Precision: 実際に行っていた行動/リストに含まれていた行動 ■ 正と予測したものがどれだけ正だったか ○ Recall: リストに含まれた行動/実際に行っていた行動 ■ 正だったもののうちどれだけを正と予測できたか

7 ©Gunosy Inc. 推薦システムの評価に用いられる行動 商品の場合 ● ユーザレビューの再現 ● 購入行動の再現 ○ レビューより多くの行動が取れる． ○ 一方で不正確な側面がある. ニュースの場合 ● 閲覧行動の再現 ○ 新しいニュース記事を推薦しなければならず，レビューは間に合わな い ○ 購入よりも不正確

8 ©Gunosy Inc. 推薦システムの評価とビジネスの関連 商品の場合 ● 商品購入してもらいたい ● その上で次も購入してもらいたい レビュー・購入を再現することはビジネスと一致している ニュースの場合 閲覧を再現することはビジネスと一致しているのか？

9 ©Gunosy Inc. ニュース配信サービスのビジネスモデル ● 課金モデル ○ ニュース記事を閲覧する権利に対して課金する ○ 無料ユーザが有料ユーザに転換するモデル ● 広告モデル ○ 閲覧するニュース記事が多ければ広告の表示回数が増える ○ ユーザ数が多ければ広告の表示回数も，広告の金額も上がる ECサイトはCVするユーザの比率によって売上が発生する ニュース配信サービスはユーザが継続的に利用することによって売上が発生す る

10 ©Gunosy Inc. ニュース配信サービスは長期的な継続率を高めたい ● 短期的には閲覧数を高めたい ○ 閲覧するニュース記事数が多ければ ■ 広告モデルなら広告表示数が増える ■ 課金モデルなら課金転換確率が上がる ● 長期的には継続率を高めたい ○ LTV(Life Time Value)を目安にコストをかける ○ 継続率が高まれば，LTVは上がる． ○ 継続率が下がれば，LTVは下がる 継続的に利用してもらわないとビジネスとして利益がでない

11 ©Gunosy Inc. 長期的な継続率を高めるのは難しい ● フィードバックまでの期間が長い ○ 施策を実行して、ユーザの反応として現れるのが数ヶ月後 ○ 退会という明確なアクションがない場合，離脱を測定するのが難しい ● 短期の成果が長期の継続率に悪影響を及ぼすことも多い ○ Push通知の増加によるアプリケーションの削除 ○ 新規のユーザに最適化することによる，既存ユーザ離れ ○ アクティビティの高いユーザに最適化することによる，それ以外のユー ザ離れ ● 短期の成果がでていると見分けるのが難しい ○ 退会率より短期的にはアクティビティの上昇のほうが上回る 長期の継続率を下げる要因を潰していくことが重要

12 ©Gunosy Inc. 推薦システムは短期の成果に最適化している ● ニュース推薦システムはユーザが閲覧しやすいニュース記事を提示するシステム ○ ニュース推薦システムの評価はユーザが閲覧したニュース記事の再現率で行 われる． ● ユーザ行動データでは継続率は分からない ○ 推薦システムが導入されること／変わることでの変化を検証できない ● 閲覧しやすいニュース記事ばかり配信され長期の継続率が下がる恐れがある ○ 閲覧しやすいとシステムが考えたニュース記事に類似したニュース記事ばかり が配信される ○ 過度に閲覧を誘発するニュース記事ばかりが配信される ■ ゴシップなどの低俗なニュース記事や，タイトルと内容が一致していない ニュース記事

13 ©Gunosy Inc. 長期の継続率を下げないためには？ ● 理論的に網羅することは難しい ○ ブランド価値，信頼性などとよばれる部分であるといえる ○ ケーススタディとして考えることはできる ○ 考えるべきはユーザの長期の効用 ● 経験的にサービスの価値を毀損しないことはなにか？ ○ 閲覧行動に最適化した結果，ニュース配信サービスの価値を既存してしまうこ と ○ 推薦システムによってどのような状態が引き起こされやすいといえるか ○ それを回避するためにはどのような方法があるのか

14 ©Gunosy Inc. 研究の目的(再掲) 多様性が推薦システムにどのような影響を与えるか分析する ● ニュース推薦システムに多様性を導入することで，ニュース配信サービスの 長期的効用を高められるのか ○ 多様性によってどのような改善が期待できるのか ○ 多様性をどのように導入するのか ● 多様性を導入することによるユーザ行動への影響 ○ ニュース推薦システムを利用したニュース配信サービスであるグノシー のユーザ行動分析から，ニュース推薦システムの課題を示す ○ グノシーのニュース推薦システムに多様性を導入し，ユーザ行動がど のように変化したか

15 ©Gunosy Inc. 目次 ● 研究の背景と目的 ○ 論文には書かれていないグランドデザイン・ビジネス上の背景につい て ● 研究の内容について ● 受賞を受けて

16 ©Gunosy Inc. 本研究で用いるデータ • グノシー – ニュース推薦システムを用いたニュース配信サービス – 著者はこのサービスの運営／開発を行っている • 本研究では2012年〜2013年末までのデータを利用する – ニュース推薦システムが提供されていた時期 • 用いるデータ – 記事データ: (記事識別子, タイトル, リード文) – ユーザ行動データ: (ユーザ識別子, 記事識別子, 行動種別(閲覧, シェ ア) – 推薦データ: (ユーザ識別子, 記事識別子, 推薦された日)

17 ©Gunosy Inc. 既存のニュース推薦システムの分析 • 多様性の導入の前にグノシーで利用されているニュース推薦システムの ユーザ行動を分析する • グノシーのニュース推薦システム – 一般的な内容ベースフィルタリングによる推薦システム – そのニュース記事をユーザがどれだけ好むかの評価値rを求め，rの大き い順に25個のニュース記事をユーザに1日1回提示する

18 ©Gunosy Inc. ニュース記事の閲覧率と評価値は相関している ● ユーザの興味関心を推定できている ○ rはユーザがニュース記事をどれだけ 好むかを表す評価値 ○ 閲覧率は興味関心の高さといえる ● ニュース推薦システムとして有効に働いて いるシステムであるといえる

19 ©Gunosy Inc. 人手で共通のニュースを挿入した場合には リスト下部で閲覧率が同等かそれ以下になる 実験: 興味関心に関係なく共通のニュース記事をラン ダムな位置に挿入する あるニュース配信サービスの編集者が1日1記 事を選び，ユーザに配信されるニュース記事リ ストのランダムな位置に挿入する リスト中盤以降で人手で選んだニュースのほう が閲覧されている．

20 ©Gunosy Inc. 多様性の導入 • 多様性を導入したい – 人手で挿入したニュース記事のほうがリスト下部では閲覧率が高い – 同じようなニュース記事が多くて飽きが生じているのでは？ – 多様性の導入によりリスト下部の閲覧率が向上することが期待される • Topic Diversification Algorithm(TDA)を導入 – ユーザ特徴量を減衰する形で実装したためユーザ減衰モデルと呼ぶ – 実験によって多様性が実際に向上したことを確認

21 ©Gunosy Inc. 多様性の有効性を測る実験 • ユーザ減衰モデルを利用したユーザと既存システムを利用したユーザの ユーザ行動を比較する • 対象ユーザ – 2012年8月~12月のグノシーの新規登録ユーザ – 新規ユーザ以外だと変わったということが影響するの可能性がある – 既存モデル: 3,465人 – ユーザ減衰モデル: 3,482人 • 評価指標 – サービス利用日数 • 継続率 • 利用頻度 – ニュース閲覧率

22 ©Gunosy Inc. 継続率と利用日数は向上する ● ユーザが1つ以上ニュース記事を閲覧し た時その日に利用したとする ● 継続率, 週次の利用日数共にユーザ減 衰モデルのほうが高い ● 特に利用日数は週を追うごとに向上して いる

23 ©Gunosy Inc. 閲覧数の変化 ● ユーザ減衰モデルにおいて利用する週次ごとに平均閲覧数が高まる ○ 特にリスト下部の閲覧数が高まっていく ● 既存システムは平均閲覧数が低下していく ○ 特にリスト下部が低下していく

24 ©Gunosy Inc. 段数別閲覧率の週次変化(1週目〜3週目) リスト下部のCTRが向上している

25 ©Gunosy Inc. 段数別閲覧率の週次変化(1週目〜4週目) 全体のCTRが向上している

26 ©Gunosy Inc. なぜリスト下部の閲覧率に変化がおきるか • 多様性を高める仕組みがない場合にはどんどん同じような内容のニュース 記事でリストが埋め尽くされていく – 特に閲覧されやすい内容のニュース記事で埋まりやすい – リストの下の方にいくと既に見たような内容のニュース記事や，質の低い ニュース記事がでる • 毎日そのジャンルにいいニュースばかりがあるわけではない • 多様性を高めることで，閲覧されやすい内容のニュース記事は上部で提示さ れるのみになる – 他に興味のあるジャンルのニュースで下部が埋まる – また新しい興味を発見する場所にもなりうる

27 ©Gunosy Inc. まとめ • ニュース推薦システムにおける多様性は，ニュース配信サービスにおける ユーザの長期的な効用を高めることができる – サービス継続率，ニュース記事閲覧数の向上 – ニュース記事リストの下部における閲覧率の向上 – 多様性がない場合は，下部の閲覧率が低下していく • 短期的な閲覧への最適化によって長期的な効用が低下している 閲覧に最適化することで長期的な効用が損なわれている 多様性を高めることによって長期的な効用を高めることができる

28 ©Gunosy Inc. 目次 ● 研究の背景と目的 ○ 論文には書かれていないグランドデザイン・ビジネス上の背景につい て ● 研究の内容について ● 受賞を受けて

29 ©Gunosy Inc. 本論文について ● 本論文は古い実験(2012年ごろ)を整理したもの ○ 手法に新規性はない(2005年の手法) ○ 古い実験なので今の中心事業との関係性が薄く，論文化ができた ● 特集号「言語処理の応用システム」での採録 ○ 手法としての新規性より，実務上での有用性を重視した特集論文 ○ 推薦の詳細な手法や利用した特徴量は公開していない 実験の時期が古く，手法としての新規性がなく， ビジネス上の都合から一部詳細を公開していないにも関わらず 論文賞をいただくことができた

30 ©Gunosy Inc. 本論文の受賞の意義 ● このような論文が受賞したことは，大きな意義があると考えます ○ 産業界の応用事例に学術的価値を認めて頂いた ○ 古い手法・古い事例であっても，公開することに価値があった ● こういった事例の公開や論文化が，今後より行われてほしい ○ サービスに近ければ近いほど公開はしづらい ○ 古いものであれば公開できるものはどの会社にもあるはず ○ 導入検証の段階で，ある程度アカデミアの評価基準は導入されているはず ○ 国内の学会だからこそ評価できるともいえる 産業界の皆さん、どんどん公開していきましょう

31 ©Gunosy Inc. 最後に ご指導頂いた研究室の皆様 本論文の投稿にご理解いただいた株式会社 Gunosyの皆様 NLP2016ワークショップ「言語処理の応用」でご意見を下さった皆様 特集号「言語処理の応用システム」の編集に関わられた皆様 本論文の査読に関わっていただいた皆様 選考に関わっていただいた編集委員の皆様 本当にありがとうございました