Wantedly Visitにおけるフリーワード検索時の推薦のオンライン化事例紹介

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2024 Wantedly, Inc. INTERNAL ONLY フリーワード検索の課題キーワード検索結果のパーソナライズには技術的な困難があった ● ランキングはバッチジョブによって事前計算してBigQueryに結果を格納 ● もしもパーソナライズしようとすると例えば... ○ 1,000人のリクルーター ○ 10,000キーワード ○ 10,000ユーザーを並び替え ○ → 1,000 億行のデータを持っておく必要がある事前計算する前提でパーソナライズするのはデータ量的に困難

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2024 Wantedly, Inc. INTERNAL ONLY どうやってプロジェクトを進めたかプロジェクトのリスクを最小化し、価値を高速に検証するために2フェーズに分けて進行元々 GBDT系モデルバッチジョブ embedding ベースバッチジョブ Phase-1 embedding ベース推論サーバー Phase-2 ● Phase-1 (中身のロジックの変更) ○ 推論モデルをembeddingベースのものに変更 ○ 一部のリクルーターを対象にパーソナライズ ● Phase-2 (システム構成の変更) ○ バッチ推論からオンライン推論へと移行 ○ より広いリクルーターを対象にパーソナライズ

Slide 10

Slide 10 text

© 2024 Wantedly, Inc. INTERNAL ONLY Phase 2まで完了して得られた結果 ● プロジェクト開始から10人日で最初のオフラインテスト結果を出せていた ○ 高速に価値の検証が実現できていた ○ はやく検証することで大きな手戻りが発生するリスクを軽減することができた ● 利用企業の採用担当者の体験改善を実現 ○ パーソナライズにより、同じキーワードでも異なるユーザーを見るようになった (表示ユーザー数が10 %以上の増加) ○ スカウトの送信数も増加 → より魅力的な候補者が推薦できていた ○ スカウトを受け取るユーザー数、マッチングの成立数も増加 ■ これまでスカウトが欲しかったが送られていなかったユーザーが採用担当者の目に入るようになった

Slide 11

Slide 11 text

© 2024 Wantedly, Inc. INTERNAL ONLY まとめ ● 大きなアーキテクチャ変更に対して、少しずつ価値を検証しながら進めていくことで顧客課題の緩和を実現することができた ● embeddingベースのシステムに移行したことによって、今後の改善の選択肢を広げることができた ○ Neural Network ○ LLM ○ … ● オンライン推論化によって新しくできるようになったことだけでなく、レスポンスタイムなどの制約でできなくなったことも存在する。推薦性能とユーザビリティのバランスを取りつつ推薦性能をあげていくことが今後の課題