Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Wantedly Visitにおけるフリーワード検索時の推薦のオンライン化事例紹介
Search
Yudai Hayashi
January 15, 2025
1
290
Wantedly Visitにおけるフリーワード検索時の推薦のオンライン化事例紹介
MIXIさんとウォンテッドリーの合同イベント「エンジニアが語る プロダクトへの AI / ML 導入・活用事例」 で発表した内容です
Yudai Hayashi
January 15, 2025
Tweet
Share
More Decks by Yudai Hayashi
See All by Yudai Hayashi
ジョブマッチングプラットフォームにおける推薦アルゴリズムの活用事例
yudai00
0
29
ユーザーのプロフィールデータを活用した推薦精度向上の取り組み
yudai00
0
620
MCP Clientを活用するための設計と実装上の工夫
yudai00
1
1.1k
人とシゴトのマッチングを実現するための機械学習技術
yudai00
1
43
MCPを理解する
yudai00
16
12k
データバリデーションによるFeature Storeデータ品質の担保
yudai00
1
180
「仮説行動」で学んだ、仮説を深め ていくための方法
yudai00
8
1.9k
相互推薦システムでのPseudo Label を活用したマッチ予測精度向上の取り組み
yudai00
1
900
RustとPyTorchで作る推論サーバー
yudai00
12
7.3k
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
RailsConf 2023
tenderlove
30
1.2k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
The Cult of Friendly URLs
andyhume
79
6.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
For a Future-Friendly Web
brad_frost
179
9.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Designing for Performance
lara
610
69k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Transcript
© 2024 Wantedly, Inc. Wantedly Visitにおけるフリーワード 検索時の推薦のオンライン化事例紹介 エンジニアが語る プロダクトへの AI
/ ML 導入・活用事例 Jan. 15 2025 - Yudai Hayashi
© 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林 悠大 • 経歴:
◦ 東京大学工学系研究科でPh.D取得 ◦ 2022年にウォンテッドリーにデータ サイエンティストとして新卒入社。 推薦システムの開発を行う • X: @python_walker
© 2024 Wantedly, Inc. INTERNAL ONLY 発表内容 • Wantedly Visitのスカウト検索機能についての紹介
• フリーワード検索で使っていた推薦システムの課題 • 推薦システムのオンライン推論化による課題解決 ◦ 何をしたか ◦ どのようにプロジェクトを進めていったか • 結果 • まとめ
© 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitのスカウト検索機能 候補者一覧画面 フリーワードを使って条件にあう
候補者を探せる 検索でヒットした候補者の カードが一覧に順番に表示 される
© 2024 Wantedly, Inc. INTERNAL ONLY フリーワード検索の課題 誰が検索しても同じユーザー のランキングを目にする
© 2024 Wantedly, Inc. INTERNAL ONLY フリーワード検索の課題 採用担当者によって欲しい人材 の像は異なる パーソナライズされていない
ことで候補者の見つけづらさ が存在
© 2024 Wantedly, Inc. INTERNAL ONLY フリーワード検索の課題 キーワード検索結果のパーソナライズには技術的な困難があった • ランキングはバッチジョブによって事前
計算してBigQueryに結果を格納 • もしもパーソナライズしようとすると例 えば... ◦ 1,000人のリクルーター ◦ 10,000キーワード ◦ 10,000ユーザーを並び替え ◦ → 1,000 億行のデータを持ってお く必要がある 事前計算する前提でパーソナライズするの はデータ量的に困難
© 2024 Wantedly, Inc. INTERNAL ONLY どうやって課題を解決したか - オンライン推論化 ユーザーリクエスト時にランキングを計算す
るシステム(オンライン推論)を構築 • 計算に必要なembeddingだけを事前に計 算 • リクエスト時に推論サーバーでスコアを 計算してランキングを返す
© 2024 Wantedly, Inc. INTERNAL ONLY どうやってプロジェクトを進めたか プロジェクトのリスクを最小化し、価値を高速に検証するために2フェーズに分けて進行 元々 GBDT系
モデル バッチ ジョブ embedding ベース バッチ ジョブ Phase-1 embedding ベース 推論サーバー Phase-2 • Phase-1 (中身のロジックの変更) ◦ 推論モデルをembeddingベースの ものに変更 ◦ 一部のリクルーターを対象にパー ソナライズ • Phase-2 (システム構成の変更) ◦ バッチ推論からオンライン推論へ と移行 ◦ より広いリクルーターを対象に パーソナライズ
© 2024 Wantedly, Inc. INTERNAL ONLY Phase 2まで完了して得られた結果 • プロジェクト開始から10人日で最初のオフラインテスト結果を出せていた
◦ 高速に価値の検証が実現できていた ◦ はやく検証することで大きな手戻りが発生するリスクを軽減することができた • 利用企業の採用担当者の体験改善を実現 ◦ パーソナライズにより、同じキーワードでも異なるユーザーを見るようになっ た (表示ユーザー数が10 %以上の増加) ◦ スカウトの送信数も増加 → より魅力的な候補者が推薦できていた ◦ スカウトを受け取るユーザー数、マッチングの成立数も増加 ▪ これまでスカウトが欲しかったが送られていなかったユーザーが採用担当 者の目に入るようになった
© 2024 Wantedly, Inc. INTERNAL ONLY まとめ • 大きなアーキテクチャ変更に対して、少しずつ価値を検証しながら進めていくこと で顧客課題の緩和を実現することができた
• embeddingベースのシステムに移行したことによって、今後の改善の選択肢を広げ ることができた ◦ Neural Network ◦ LLM ◦ … • オンライン推論化によって新しくできるようになったことだけでなく、レスポンス タイムなどの制約でできなくなったことも存在する。推薦性能とユーザビリティの バランスを取りつつ推薦性能をあげていくことが今後の課題