会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択

DEIM2024での技術報告の際のスライドです

Transcript

1. © 2024 Wantedly, Inc. 会社訪問アプリ「Wantedly Visit」におけ る新規ユーザーの行動量に基づいた推薦 方策の選択 DEIM 2024 技術報告 [T3-C-8-05] Mar. 2024 - 林 悠大 (ウォンテッドリー株式会社)
2. © 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦ 会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
3. © 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林　悠大 経歴 • 2022年3月：東京大学大学院工学系研究科でPh.D 取得 • 2022年4月：ウォンテッドリー株式会社にデータ サイエンティストとして新卒入社。推薦システム の開発に従事 趣味 • 音楽を聴くこと • ウイスキー
4. © 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2024 Wantedly, Inc. 私たちのミッション
5. © 2024 Wantedly, Inc. INTERNAL ONLY • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に 会社に遊びに行こう ミッションや価値観への共感でマッチング • 会社の Why と What が伝えられる場所 • 人と会社を「想い」でマッチング ｢話を聞きに行く」体験 会社訪問アプリ「Wantedly Visit」
6. © 2024 Wantedly, Inc. INTERNAL ONLY 事例紹介：推薦システムの開発・改善
7. © 2024 Wantedly, Inc. INTERNAL ONLY アカデミアにおける活動 RecSys2023への参加と論文読み会の協賛 国内学会のスポンサー https://event.dbsj.org/ deim2023 DEIM2023 JSAI2023 https://www.ai-gakkai.or.jp/jsai2023/sponsor/
8. © 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦ 会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
9. © 2024 Wantedly, Inc. INTERNAL ONLY 新規ユーザーに対する推薦の重要性と難しさ 新規ユーザー • インタラクション情報が無いので、行動 情報を利用した効果的な推薦が難しい → コールドスタート問題 • ユーザーの属性情報などを活用したコン テンツベース推薦が行われることが多い 新規ユーザーにはサービスの利用意欲が高いユーザーが多く、 利用初期に良い体験をすることが長期的視点から非常に重要
10. © 2024 Wantedly, Inc. INTERNAL ONLY コンテンツベース推薦と行動ベース推薦 適切なタイミングでコンテンツから行動ベースの推薦へと切り替える ことでユーザーの体験を向上させられる可能性 コンテンツベース推薦 行動ベース推薦 行動情報がなくてもユーザー の嗜好を大まかに捉えられる ユーザーの細かい嗜好の 違いを捉えるのが苦手 ユーザーの細かい嗜好の 違いを捉えられる 行動情報が少ないと良い 推薦を提供できない メリット デメリット
11. © 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitにおけるコンテンツベース推薦 • オンボーディング時に興味のある ワードを選択してもらう • 選択した興味に応じて募集を推薦 (コンテンツベース推薦) 登録直後から関心のある募集が たくさん表示される体験
12. © 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 ユーザー登録 1日目 2日目 3日目 コンテンツ ベース 行動ベース • ユーザー登録からの経過日数に応じて 行動ベースの推薦へと移行 • 新規ユーザーの行動量はおおよそ均質 だという仮定 ユーザーごとの行動傾向の違いは十分 に考慮できていなかった 新規ユーザーの見る募集のランキング中の方策の比率
13. © 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 たくさん募集を見て回る人 ゆっくり募集を見る人 なかなか自分の嗜好を理解してくれ ないので応募せずに離脱する たまたま反応した募集に引っ張られて 興味のない募集ばかりが出るように なった 意欲が高いユーザーに意欲の高いうちに良い推薦が出せない ことは大きな損失 どのユーザーでも一定のペースで置き換えが進むと...
14. © 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦ 会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
15. © 2024 Wantedly, Inc. INTERNAL ONLY どのようにして「ユーザーごとの切り替え最適化」を行うか 意欲が高い新規ユーザーに「早く」良い推薦を届けるという 観点から、ルールベースでの切り替えをする判断 ルールベース バンディット • ユーザーの反応を受けながら 方策を調整可能 • フィードバックにノイズが含 まれる場合に収束が遅くなる • 収束速度をある程度制御で きる • ユーザーの反応を方策選択 の調整に十分活用できない
16. © 2024 Wantedly, Inc. INTERNAL ONLY ログ蓄積による行動ベース推薦の性能変化の事前実験 ユーザーを行動量によってセグメントわけ 評価指標：nDCG • コンテンツベースランキングはユー ザーの行動量にほとんど依存しない • 行動ベースランキングはユーザーの 行動量が一定値を超えたときに興味 によるランキングの性能を上回る 閾値前後で出す方策を変化させることで よりよい切り替えが実現できると期待
17. © 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーを対象としてA/Bテストを実施 • control ◦ 登録からの経過日数に応じ てコンテンツベースの割合 を減らしていく • treatment ◦ 行動量が一定値を超えたと きにコンテンツベース推薦 を出さなくする
18. © 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーの応募行動を活発化させる効果が観測された 意欲の高いユーザーの体験を向上させることができたか？ • 活発に行動するユーザーが最初に応募するまでの日数を短縮 → 自分の行動に即した募集がより早く表示されるようになることで、応募し たいと思う募集に出会えるまでの期間を短縮できたと予想 • 登録後に長期的に利用するユーザーが増加 → 登録初期に良い体験をすることができたことで長期的なサービス利用意欲 が高まったと予測
19. © 2024 Wantedly, Inc. INTERNAL ONLY まとめ • 課題：意欲が高い新規ユーザーに対して、意欲が高いうちに十分良い推薦 を届けられていない • 対処法：新規ユーザーの行動量に応じて提供する推薦モデルの比率を調整 • 結果：ユーザーの応募行動を促進 • 考察：意欲的なユーザーに早く良い募集を推薦することで体験が向上し、 その後の継続的なサービス利用につながった
20. © 2024 Wantedly, Inc. INTERNAL ONLY We are hiring!