Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
Search
Yudai Hayashi
March 01, 2024
Technology
0
1k
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
DEIM2024での技術報告の際のスライドです
Yudai Hayashi
March 01, 2024
Tweet
Share
More Decks by Yudai Hayashi
See All by Yudai Hayashi
プロダクトのコードをPandasからPolarsへ書き換えた話
yudai00
6
1.5k
データサイエンティストになって得た学び
yudai00
1
44
社内での継続的な機械学習勉強会の開催のコツ
yudai00
2
560
Polarsを活用した機械学習ジョブの高速化
yudai00
1
100
Voyagerを利用した宿画像の最近傍探索による候補生成
yudai00
1
140
推薦データ分析コンペに参加して得た知見
yudai00
2
320
論文紹介:Unbiased Delayed Feedback Label Correction for Conversion Rate Prediction
yudai00
0
220
機械学習プロジェクトでのPythonアップデートの難しさと得られた知見
yudai00
3
250
RecSys2023論文読み会 - Augmented Negative Sampling for Collaborative Filtering
yudai00
1
880
Other Decks in Technology
See All in Technology
[NIKKEI Tech Talk] KDDI/KAG Scrum & Community for Engineering Training
curanosuke
2
220
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
AWSでRAGを作る法方
sonoda_mj
1
140
How to Think Like a Performance Engineer
csswizardry
4
590
OSSコミットしてZennの課題を解決した話
dyoshikawa1993
0
150
What if...? 처음부터 다시 LLM 어플리케이션을 개발한다면
huffon
0
1k
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
900
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
ゆめみのアクセシビリティの現在地と今後
ryokatsuse
3
290
目標設定は好きですか? アジャイルとともに目標と向き合い続ける方法 / Do you like target Management?
kakehashi
10
3k
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
Featured
See All Featured
The Cult of Friendly URLs
andyhume
75
5.9k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
24
1.8k
Bash Introduction
62gerente
607
210k
What the flash - Photography Introduction
edds
65
11k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
The Invisible Side of Design
smashingmag
294
50k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
13
430
Large-scale JavaScript Application Architecture
addyosmani
506
110k
Being A Developer After 40
akosma
72
580k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
Six Lessons from altMBA
skipperchong
24
3.2k
Transcript
© 2024 Wantedly, Inc. 会社訪問アプリ「Wantedly Visit」におけ る新規ユーザーの行動量に基づいた推薦 方策の選択 DEIM 2024
技術報告 [T3-C-8-05] Mar. 2024 - 林 悠大 (ウォンテッドリー株式会社)
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林 悠大 経歴 •
2022年3月:東京大学大学院工学系研究科でPh.D 取得 • 2022年4月:ウォンテッドリー株式会社にデータ サイエンティストとして新卒入社。推薦システム の開発に従事 趣味 • 音楽を聴くこと • ウイスキー
© 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2024 Wantedly, Inc.
私たちのミッション
© 2024 Wantedly, Inc. INTERNAL ONLY • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に 会社に遊びに行こう
ミッションや価値観への共感でマッチング • 会社の Why と What が伝えられる場所 • 人と会社を「想い」でマッチング 「話を聞きに行く」体験 会社訪問アプリ「Wantedly Visit」
© 2024 Wantedly, Inc. INTERNAL ONLY 事例紹介:推薦システムの開発・改善
© 2024 Wantedly, Inc. INTERNAL ONLY アカデミアにおける活動 RecSys2023への参加と論文読み会の協賛 国内学会のスポンサー https://event.dbsj.org/
deim2023 DEIM2023 JSAI2023 https://www.ai-gakkai.or.jp/jsai2023/sponsor/
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 新規ユーザーに対する推薦の重要性と難しさ 新規ユーザー • インタラクション情報が無いので、行動
情報を利用した効果的な推薦が難しい → コールドスタート問題 • ユーザーの属性情報などを活用したコン テンツベース推薦が行われることが多い 新規ユーザーにはサービスの利用意欲が高いユーザーが多く、 利用初期に良い体験をすることが長期的視点から非常に重要
© 2024 Wantedly, Inc. INTERNAL ONLY コンテンツベース推薦と行動ベース推薦 適切なタイミングでコンテンツから行動ベースの推薦へと切り替える ことでユーザーの体験を向上させられる可能性 コンテンツベース推薦
行動ベース推薦 行動情報がなくてもユーザー の嗜好を大まかに捉えられる ユーザーの細かい嗜好の 違いを捉えるのが苦手 ユーザーの細かい嗜好の 違いを捉えられる 行動情報が少ないと良い 推薦を提供できない メリット デメリット
© 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitにおけるコンテンツベース推薦 • オンボーディング時に興味のある
ワードを選択してもらう • 選択した興味に応じて募集を推薦 (コンテンツベース推薦) 登録直後から関心のある募集が たくさん表示される体験
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 ユーザー登録 1日目 2日目
3日目 コンテンツ ベース 行動ベース • ユーザー登録からの経過日数に応じて 行動ベースの推薦へと移行 • 新規ユーザーの行動量はおおよそ均質 だという仮定 ユーザーごとの行動傾向の違いは十分 に考慮できていなかった 新規ユーザーの見る募集のランキング中の方策の比率
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 たくさん募集を見て回る人 ゆっくり募集を見る人 なかなか自分の嗜好を理解してくれ
ないので応募せずに離脱する たまたま反応した募集に引っ張られて 興味のない募集ばかりが出るように なった 意欲が高いユーザーに意欲の高いうちに良い推薦が出せない ことは大きな損失 どのユーザーでも一定のペースで置き換えが進むと...
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY どのようにして「ユーザーごとの切り替え最適化」を行うか 意欲が高い新規ユーザーに「早く」良い推薦を届けるという 観点から、ルールベースでの切り替えをする判断 ルールベース
バンディット • ユーザーの反応を受けながら 方策を調整可能 • フィードバックにノイズが含 まれる場合に収束が遅くなる • 収束速度をある程度制御で きる • ユーザーの反応を方策選択 の調整に十分活用できない
© 2024 Wantedly, Inc. INTERNAL ONLY ログ蓄積による行動ベース推薦の性能変化の事前実験 ユーザーを行動量によってセグメントわけ 評価指標:nDCG •
コンテンツベースランキングはユー ザーの行動量にほとんど依存しない • 行動ベースランキングはユーザーの 行動量が一定値を超えたときに興味 によるランキングの性能を上回る 閾値前後で出す方策を変化させることで よりよい切り替えが実現できると期待
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーを対象としてA/Bテストを実施 • control
◦ 登録からの経過日数に応じ てコンテンツベースの割合 を減らしていく • treatment ◦ 行動量が一定値を超えたと きにコンテンツベース推薦 を出さなくする
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーの応募行動を活発化させる効果が観測された 意欲の高いユーザーの体験を向上させることができたか? •
活発に行動するユーザーが最初に応募するまでの日数を短縮 → 自分の行動に即した募集がより早く表示されるようになることで、応募し たいと思う募集に出会えるまでの期間を短縮できたと予想 • 登録後に長期的に利用するユーザーが増加 → 登録初期に良い体験をすることができたことで長期的なサービス利用意欲 が高まったと予測
© 2024 Wantedly, Inc. INTERNAL ONLY まとめ • 課題:意欲が高い新規ユーザーに対して、意欲が高いうちに十分良い推薦 を届けられていない
• 対処法:新規ユーザーの行動量に応じて提供する推薦モデルの比率を調整 • 結果:ユーザーの応募行動を促進 • 考察:意欲的なユーザーに早く良い募集を推薦することで体験が向上し、 その後の継続的なサービス利用につながった
© 2024 Wantedly, Inc. INTERNAL ONLY We are hiring!