Tweet
Tweet

Slide 1

Slide 1 text

© 2024 Wantedly, Inc. 会社訪問アプリ「Wantedly Visit」におけ る新規ユーザーの行動量に基づいた推薦 方策の選択 DEIM 2024 技術報告 [T3-C-8-05] Mar. 2024 - 林 悠大 (ウォンテッドリー株式会社)

Slide 2

Slide 2 text

© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ○ 会社とプロダクトの紹介 ○ プロダクトにおけるデータサイエンスの活用事例 ○ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ○ コールドスタート問題に対処する重要性 ○ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ○ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ○ オンラインテストの結果と考察

Slide 3

Slide 3 text

© 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林　悠大 経歴 ● 2022年3月：東京大学大学院工学系研究科でPh.D 取得 ● 2022年4月：ウォンテッドリー株式会社にデータ サイエンティストとして新卒入社。推薦システム の開発に従事 趣味 ● 音楽を聴くこと ● ウイスキー

Slide 4

Slide 4 text

© 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2024 Wantedly, Inc. 私たちのミッション

Slide 5

Slide 5 text

© 2024 Wantedly, Inc. INTERNAL ONLY • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に 会社に遊びに行こう ミッションや価値観への共感でマッチング • 会社の Why と What が伝えられる場所 • 人と会社を「想い」でマッチング ｢話を聞きに行く」体験 会社訪問アプリ「Wantedly Visit」

Slide 6

Slide 6 text

© 2024 Wantedly, Inc. INTERNAL ONLY 事例紹介：推薦システムの開発・改善

Slide 7

Slide 7 text

© 2024 Wantedly, Inc. INTERNAL ONLY アカデミアにおける活動 RecSys2023への参加と論文読み会の協賛 国内学会のスポンサー https://event.dbsj.org/ deim2023 DEIM2023 JSAI2023 https://www.ai-gakkai.or.jp/jsai2023/sponsor/

Slide 8

Slide 8 text

© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ○ 会社とプロダクトの紹介 ○ プロダクトにおけるデータサイエンスの活用事例 ○ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ○ コールドスタート問題に対処する重要性 ○ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ○ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ○ オンラインテストの結果と考察

Slide 9

Slide 9 text

© 2024 Wantedly, Inc. INTERNAL ONLY 新規ユーザーに対する推薦の重要性と難しさ 新規ユーザー ● インタラクション情報が無いので、行動 情報を利用した効果的な推薦が難しい → コールドスタート問題 ● ユーザーの属性情報などを活用したコン テンツベース推薦が行われることが多い 新規ユーザーにはサービスの利用意欲が高いユーザーが多く、 利用初期に良い体験をすることが長期的視点から非常に重要

Slide 10

Slide 10 text

© 2024 Wantedly, Inc. INTERNAL ONLY コンテンツベース推薦と行動ベース推薦 適切なタイミングでコンテンツから行動ベースの推薦へと切り替える ことでユーザーの体験を向上させられる可能性 コンテンツベース推薦 行動ベース推薦 行動情報がなくてもユーザー の嗜好を大まかに捉えられる ユーザーの細かい嗜好の 違いを捉えるのが苦手 ユーザーの細かい嗜好の 違いを捉えられる 行動情報が少ないと良い 推薦を提供できない メリット デメリット

Slide 11

Slide 11 text

© 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitにおけるコンテンツベース推薦 ● オンボーディング時に興味のある ワードを選択してもらう ● 選択した興味に応じて募集を推薦 (コンテンツベース推薦) 登録直後から関心のある募集が たくさん表示される体験

Slide 12

Slide 12 text

© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 ユーザー登録 1日目 2日目 3日目 コンテンツ ベース 行動ベース ● ユーザー登録からの経過日数に応じて 行動ベースの推薦へと移行 ● 新規ユーザーの行動量はおおよそ均質 だという仮定 ユーザーごとの行動傾向の違いは十分 に考慮できていなかった 新規ユーザーの見る募集のランキング中の方策の比率

Slide 13

Slide 13 text

© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 たくさん募集を見て回る人 ゆっくり募集を見る人 なかなか自分の嗜好を理解してくれ ないので応募せずに離脱する たまたま反応した募集に引っ張られて 興味のない募集ばかりが出るように なった 意欲が高いユーザーに意欲の高いうちに良い推薦が出せない ことは大きな損失 どのユーザーでも一定のペースで置き換えが進むと...

Slide 14

Slide 14 text

© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ○ 会社とプロダクトの紹介 ○ プロダクトにおけるデータサイエンスの活用事例 ○ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ○ コールドスタート問題に対処する重要性 ○ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ○ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ○ オンラインテストの結果と考察

Slide 15

Slide 15 text

© 2024 Wantedly, Inc. INTERNAL ONLY どのようにして「ユーザーごとの切り替え最適化」を行うか 意欲が高い新規ユーザーに「早く」良い推薦を届けるという 観点から、ルールベースでの切り替えをする判断 ルールベース バンディット ● ユーザーの反応を受けながら 方策を調整可能 ● フィードバックにノイズが含 まれる場合に収束が遅くなる ● 収束速度をある程度制御で きる ● ユーザーの反応を方策選択 の調整に十分活用できない

Slide 16

Slide 16 text

© 2024 Wantedly, Inc. INTERNAL ONLY ログ蓄積による行動ベース推薦の性能変化の事前実験 ユーザーを行動量によってセグメントわけ 評価指標：nDCG ● コンテンツベースランキングはユー ザーの行動量にほとんど依存しない ● 行動ベースランキングはユーザーの 行動量が一定値を超えたときに興味 によるランキングの性能を上回る 閾値前後で出す方策を変化させることで よりよい切り替えが実現できると期待

Slide 17

Slide 17 text

© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーを対象としてA/Bテストを実施 ● control ○ 登録からの経過日数に応じ てコンテンツベースの割合 を減らしていく ● treatment ○ 行動量が一定値を超えたと きにコンテンツベース推薦 を出さなくする

Slide 18

Slide 18 text

© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーの応募行動を活発化させる効果が観測された 意欲の高いユーザーの体験を向上させることができたか？ ● 活発に行動するユーザーが最初に応募するまでの日数を短縮 → 自分の行動に即した募集がより早く表示されるようになることで、応募し たいと思う募集に出会えるまでの期間を短縮できたと予想 ● 登録後に長期的に利用するユーザーが増加 → 登録初期に良い体験をすることができたことで長期的なサービス利用意欲 が高まったと予測

Slide 19

Slide 19 text

© 2024 Wantedly, Inc. INTERNAL ONLY まとめ ● 課題：意欲が高い新規ユーザーに対して、意欲が高いうちに十分良い推薦 を届けられていない ● 対処法：新規ユーザーの行動量に応じて提供する推薦モデルの比率を調整 ● 結果：ユーザーの応募行動を促進 ● 考察：意欲的なユーザーに早く良い募集を推薦することで体験が向上し、 その後の継続的なサービス利用につながった

Slide 20

Slide 20 text

© 2024 Wantedly, Inc. INTERNAL ONLY We are hiring!