© 2024 Wantedly, Inc. 相互推薦システム開発の舞台裏と今 後の展望 Wantedly Tech Night #1 May. 24 2024 - @nogawanogawa

自己紹介 © 2024 Wantedly, Inc. - 角川拓也 - X: @nogawanogawa - 所属 - ウォンテッドリー株式会社 データサイエンティスト - ex. - ITコンサル @コンサル会社 - システムエンジニア @金融系SIer

Wantedly Visitにおける 相互推薦システム © 2024 Wantedly, Inc.

Wantedly Visitではプロダクトのさまざまなところに推薦システムを利用 © 2024 Wantedly, Inc. データサイエンティスト 募集・スカウト 推薦機能を開発 ユーザー向け募集一覧画面 企業向けスカウト検索画面 表示する項目の表示順位によって 推薦を行っています

Wantedly Visitのプラットフォーム構造 © 2024 Wantedly, Inc. 参考: Wantedly におけるマッチング体験を最大化させるための推薦システム ユーザー 企業 経営層 人事 社員 会社員・副業 フリーランス 学生 Wantedly Visit カジュアルにお話しませんか？ 話を聞いてみたいです 是非お話しましょう！ お話聞かせてください！

Wantedlyの推薦システムの役割 © 2024 Wantedly, Inc. 参考: Wantedly におけるマッチング体験を最大化させるための推薦システム ユーザー 企業 経営層 人事 社員 会社員・副業 フリーランス 学生 Wantedly Visit ユーザーにとって興味があり、そのユーザーと マッチングしやすい募集をおすすめ 企業が興味があり、その企業とマッチングしや すいユーザーをおすすめ 互いの嗜好を考慮して マッチングしやすいように表示

相互推薦システム：ユーザーと企業の双方の嗜好を考慮してマッチングしやすさを予測 © 2024 Wantedly, Inc. 参考: 相互推薦システムを活用したユーザーと企業の双方の嗜好を考慮した推薦 ユーザー→企業の嗜好を予測 企業→ユーザーの嗜好を予測 ユーザー 企業 ユーザー 企業 集約 ユーザー 企業 ランキング 募集A 募集B 募集C 募集D 募集E 募集F ユーザー・企業双方にとって 魅力的なペアになるよう ランキングを作成 ユーザーと企業双方の嗜好を予測し、双方にとって魅力的に映るように推薦を行う

開発フローと利用技術 © 2024 Wantedly, Inc.

開発フロー © 2024 Wantedly, Inc. 参考: WANTEDLY TECH BOOK 13 「ウォンテッドリーにおける推薦システム開発の流れ」 問題提議 仮説立案 設計 実装 オフライン評 価 オンラインテ スト 運用 Wantedlyのデータサイエンティストの開発フロー - プロダクトの問題設定に始まり、仮説立案・設計を行う - 実際の推薦をおこなうランキングジョブの実装 - オフライン評価によってオンラインテスト前に良し悪しを評価 - 実際にオンラインテストで期待通り指標が向上するか確認 - 全体リリース後の運用・指標のモニタリングを通じて問題設定、開発を繰り返す

開発フロー © 2024 Wantedly, Inc. 参考: WANTEDLY TECH BOOK 13 「ウォンテッドリーにおける推薦システム開発の流れ」 問題提議 仮説立案 設計 実装 オフライン 評価 オンライン テスト 運用 BigQuery フィードバック 組織全体の戦略 ログ分析 問題定義 仮説立案 設計 応募数は増えている がマッチングの効率 が低下している 募集要件を満たさな いユーザーにその 募集をおすすめして マッチング効率が低 下してしまっている 企業 → ユー ザーの嗜好予測 に募集要件の情 報を特徴量とし て追加する 例 BigQueryでのログの分析やフィードバックなどを基に問題定義、仮説立案をデータサイエンティスト で行い、設計を行う

ランキング 開発フロー 問題提議 仮説立案 設計 実装 オフライン 評価 オンライン テスト 運用 BigQuery 機械学習ジョブ BigQuery Cloud Storage Amazon EKS ロード 前処理 学習 保存 ロード 保存 Cloud Storage 募集A 募集B 募集C 募集D 募集E 募集F バッチジョブの実装を データサイエンティストが行う 推薦を行う機械学習ジョブはEKS上で動作しており、ジョブ自体の実装をデータサイエン ティストが行う ユーザー向け ランキング

開発フロー © 2024 Wantedly, Inc. 問題提議 仮説立案 設計 実装 オフライン 評価 オンライン テスト 運用 実装した機械学習ジョブによって期待通り性能向上しそうかオフラインで評価 - オフライン評価専用のRecommendation Evaluator というツールを内製 - 新しく実装したランキングと実際に本番で出ているランキングの比較 - Configファイルの設定だけで実行可能 参考: ウォンテッドリーにおける推薦システムのオフライン評価の仕組み

開発フロー © 2024 Wantedly, Inc. 参考: Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る データサイエンティストと効果的にコラボレーションするためのインターフェースづくり 問題提議 仮説立案 設計 実装 オフライン 評価 オンライン テスト 運用 - 機械学習関連のジョブはargo workflowで定期実行 - 新規に追加したジョブについても設定用の yamlファイルを記述 - オンラインテストの設定をyamlに設定をすることでオンラインテスト開始 - どんな状況でどのランキングを表示するか - オンラインテスト方式はA/Bテスト・インターリービングをどちらにするか 定期実行の設定 をyamlに記述 argo workflowでバッ チジョブ定期実行 BigQuery オンラインテストの 設定をyamlに記述 推薦配信用 マイクロサービス （A/Bテスト、インターリービング を適用） ユーザーに表示 1 2

開発フロー © 2024 Wantedly, Inc. 問題提議 仮説立案 設計 実装 オフライン 評価 オンライン テスト 運用 データ傾向の変化や異常などにより推薦品質が低下していないか日次でモニタリング ドリフト等の確認 ジョブ内部の異常に関する確認 ユーザーの行動傾向から 次の改善点を見出す 日次でモニタリング

© 2024 Wantedly, Inc. 1. 10年以上運営しているサービスなので必要なデータの多くはすでに蓄積済み - 「機械学習したいけどデータがない」ことは基本的にない - 施策ごとに最適と思われるデータを判断し利用できる 2. 問題定義から実装・リリースまでほとんどをデータサイエンティストだけで実施 - 効率面だけでなく推薦機能の改善での成果を実感しやすいメリット 3. リリース・運用のフローが形式化されているので、データサイエンティストが推薦精度改善 に集中できる - 良い意味で推薦が他の機能から切り離されており、得意ではない技術領域を触る必 要性や、関係者との調整が主業務になることがない Wantedly データサイエンス組織での開発の特徴 問題提議 仮説立案 設計 実装 オフライン評 価 オンラインテ スト 運用 基本的にデータサイエンティストが全て実施

今後の改善方針 © 2024 Wantedly, Inc.

今後の改善方針 © 2024 Wantedly, Inc. - 現在は基本的な相互推薦の枠組みを適用するところまで実現できている - 今後はさらにビジネス課題を解決する推薦を実現できるような改善を進める方針 ①「最適挑戦」ができる募集/候補者の推薦 ②マルチモーダルな推薦 - 募集文やプロフィールなどのテキストデータの さらなる有効活用 - 機械学習に利用可能な豊富な自由記述 文データが存在 - 募集画像などの画像データの活用 - 企業のカルチャーや働く雰囲気など言 語化できない情報 - スキル診断や性格診断はリリース済み - 活用しきれてはいない - これらを活用して最適挑戦ができる推薦に よって「ココロオドル」マッチングを実現

まとめ © 2024 Wantedly, Inc. ● Wantedly Visitの推薦システムと利用技術について紹介 ● 基本構成：相互推薦システム ○ ユーザー・企業双方の嗜好を考慮しマッチングを最大化することを意図 ● 開発フロー: 仮説出し ~ オンラインテストまで行うサイクルを繰り返す ○ サービスの利用状況や組織の方針から改善に向けた仮説出し ○ 実装・オフライン評価 ○ A/Bテストやインターリービングでのオンラインテストで実際に検証 ● 今後の改善方針 ○ 「最適挑戦」ができる募集/候補者の推薦 ○ マルチモーダルな推薦