Tweet
Tweet

Slide 1

Slide 1 text

© 2024 Wantedly, Inc. ウォンテッドリーの推薦システム開発を支え る評価とデプロイの仕組み Recommendation Industry Talks #4 Oct. 30 2024 - Chiaki Ichimura

Slide 2

Slide 2 text

自己紹介 © 2024 Wantedly, Inc. 名前： 市村 千晃 所属と役割： ● ウォンテッドリー株式会社 ● データサイエンティスト ● 推薦システムの開発、運用に従事 @chimuichimu1

Slide 3

Slide 3 text

会社・プロダクト紹介 © 2024 Wantedly, Inc.

Slide 4

Slide 4 text

© 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2024 Wantedly, Inc. 私たちのミッション

Slide 5

Slide 5 text

© 2024 Wantedly, Inc. iOS, Android and Web 気軽に会社訪問 ミッションや価値観への共感でマッチング ● 給与や福利厚生などの条件ではなく、想いがあれば会社の規 模にとらわれない まず「話を聞きに行く」という新しい体験 ● 個人と企業がフラットな目線で出会えることで、より魅力的な場 所を見つけることが可能に Wantedly Visit

Slide 6

Slide 6 text

Wantedly Visit - プラットフォーム構造 仕事を探すユーザーと人材を探す企業がであい、つながる ツーサイドのプラットフォーム

Slide 7

Slide 7 text

© 2024 Wantedly, Inc. Wantedly Visit - グロースサイクル プロダクトの成長にはマッチングの促進が必要不可欠

Slide 8

Slide 8 text

マッチングを実現する推薦システム マッチングの実現のため 推薦システムを最も重要な技術領域の一つとして開発に注力

Slide 9

Slide 9 text

ウォンテッドリーにおける 推薦システム開発 © 2024 Wantedly, Inc.

Slide 10

Slide 10 text

© 2024 Wantedly, Inc. どこで推薦システムが活用されているか？ 機械学習を活用することで、 ユーザーの仕事に関する嗜好を捉え、 ユーザーがココロオドル仕事に出会える体験を実現 ユーザーが見る募集の一覧

Slide 11

Slide 11 text

どのように推薦システムを開発しているか？ © 2024 Wantedly, Inc. ● 問題発見から運用まで、データサイエンティストが一気通貫で担当 ● 推薦ロジックの改善や、新しい推薦体験の開発を実施 問題発見 課題定義 解決策の 実装 オフライン評 価 デプロイ オンライン評 価 運用 データサイエンティストの開発スコープ

Slide 12

Slide 12 text

推薦システム開発において大事にしていること © 2024 Wantedly, Inc. 実験主義であること 「最終的な答えを持つのはユーザーのみである」という姿勢のもと 延々と議論するよりも、ユーザーの反応を見ることを重視し そこから得た学びを次の行動に繋げる

Slide 13

Slide 13 text

「実験主義」であるために必要なことは？ © 2024 Wantedly, Inc. 実験の効率性 実装→評価→ユーザーへの提示のサイクルを高速に回し、 仮説検証とユーザーへの価値提供をクイックに実施すること 実験の品質 検証したいことを正しく検証することで、1つの実験から得られる学びを最大化 すること

Slide 14

Slide 14 text

「実験主義」を支える仕組み © 2024 Wantedly, Inc. 問題発見 課題定義 解決策の 実装 オフライン評 価 デプロイ オンライン評 価 運用 「実験主義」を実現するための オフライン評価とデプロイの仕組みを紹介

Slide 15

Slide 15 text

オフライン評価の仕組みの紹介 © 2024 Wantedly, Inc.

Slide 16

Slide 16 text

前提：なぜオフライン評価をするのか？ © 2024 Wantedly, Inc. 試行錯誤のサイクルを高速に回すため ログデータを使った評価は、オンライン評価に比べ時間的コストが低い 意図せぬユーザー体験の毀損を防ぐため オンライン評価前に、ユーザー体験悪化のリスクを最小化する 意図した変化が実現できているかを確認するため 問題が解決した状態を作れているか？をユーザーに出す前に確認

Slide 17

Slide 17 text

過去に起きていた課題① 実験の効率性に関する課題 © 2024 Wantedly, Inc. 施策のたびにオフライン評価を準備するのに時間がかかる ● 施策ごとに担当者が基本的にスクラッチで評価コードを実装 ● 実装やレビューにかかるコストが大きかった

Slide 18

Slide 18 text

過去に起きていた課題② 実験の品質に関する課題 © 2024 Wantedly, Inc. オフライン評価とオンライン評価の結果の乖離 ● オフラインで指標が改善 → オンラインで指標が悪化、というケース ● 要因の一つ：ユーザーが見るものとは異なる推薦を評価していた 推薦モデル ランキング データ 推論サーバー による処理 ユーザーが 見るリスト 評価していたもの 本来評価すべきもの ● ユーザー指定のフィルタ ● ルールベースの後処理 ● etc.

Slide 19

Slide 19 text

取り組んだこと © 2024 Wantedly, Inc. オフライン評価用ライブラリを内製し、評価プロセスに活用 DataLoader 旧ランキング 新ランキング Reproducer 旧ランキング 新ランキング Evaluator 評価結果 Config

Slide 20

Slide 20 text

取り組んだこと © 2024 Wantedly, Inc. オフライン評価用ライブラリを内製し、評価プロセスに活用 DataLoader 旧ランキング 新ランキング Reproducer 旧ランキング 新ランキング Evaluator 評価結果 Config 使い回す処理を関数化したうえ Config ベースで評価を設定できるように

Slide 21

Slide 21 text

取り組んだこと © 2024 Wantedly, Inc. オフライン評価用ライブラリを内製し、評価プロセスに活用 DataLoader 旧ランキング 新ランキング Reproducer 旧ランキング 新ランキング Evaluator 評価結果 Config 評価をするだけでなく、推薦結果を再現する ためのコンポーネントを実現

Slide 22

Slide 22 text

得られた成果 © 2024 Wantedly, Inc. 施策にかかる時間の短縮 🎉 実装・レビューのコスト減により、施策にかかる時間が半日~2日短縮 オンラインテスト結果が従来より想定に近くなった 🎉 オフライン評価とオンライン評価の指標の相関が向上し、オンライン評価に移 行する意思決定の品質が改善

Slide 23

Slide 23 text

デプロイの仕組みの紹介 © 2024 Wantedly, Inc.

Slide 24

Slide 24 text

前提：推薦結果がユーザーに届くまで © 2024 Wantedly, Inc. 推薦結果を基に、検索・表示の制御やA/Bテ ストの適用を行う

Slide 25

Slide 25 text

従来のリリースフロー © 2024 Wantedly, Inc. DS 推薦基盤 エンジニア ロジック実装 ランキングデータを BQに作成 新しいデータを 利用する実装 リリース モニタリング

Slide 26

Slide 26 text

過去に起きていた課題 © 2024 Wantedly, Inc. デプロイまでのリードタイム 推薦基盤の推論サーバーの実装に2-3日程度必要 リリースに DS と推薦基盤エンジニアの2人が必要 コミュニケーションロスによるリスク 推薦基盤エンジニアが DS 側の意図を汲み取り、実装する必要あり コミュニケーションロスにより、意図せぬリリースやオンラインテストが行われ るリスク

Slide 27

Slide 27 text

取り組んだこと © 2024 Wantedly, Inc. ランキングリリース用のインターフェースの定義 DS 推薦基盤 エンジニア XXの条件下で〇〇のランキン グデータを出して、テスト方法 は△△で... DS 従来 スキーマファイルに 必要な情報を記述 現在

Slide 28

Slide 28 text

取り組んだこと © 2024 Wantedly, Inc. スキーマファイルからプログラムの自動生成 スキーマファイルの情報 ● ランキングの条件分岐 ● テスト形式（AB or Interleaving） から推論コード（+フロー図）を自動生成 .go

Slide 29

Slide 29 text

得られた成果 © 2024 Wantedly, Inc. デプロイのリードタイム短縮 🎉 デプロイにかかる時間が 2-3日 → 半日 まで短縮 オンラインテストを始めよう、と思ったその日に開始できる環境に データサイエンティスト単独でのデプロイが可能に 🎉 設定と実装が分離されたことで、DS 単独でも正確なデプロイが可能に

Slide 30

Slide 30 text

まとめ © 2024 Wantedly, Inc.

Slide 31

Slide 31 text

まとめ © 2024 Wantedly, Inc. ● ウォンテッドリーでは「実験を重視する文化」を大事にして推薦シ ステムの開発に取り組んでいる ● オフライン評価とデプロイの仕組み化により、実験の効率と品質 を高め、理想的なマッチングの実現を目指している

Slide 32

Slide 32 text

もっと詳しく知りたい人へ © 2024 Wantedly, Inc. ● 開発プロセス全般 ○ ウォンテッドリーにおける推薦システム開発の流れ ● オフライン評価 ○ ウォンテッドリーにおける推薦システムのオフライン評価の仕組み ● デプロイ ○ オンラインテストしようと思った その日に開始できる環境を目指して ○ データサイエンティストと効果的にコラボレーションするためのインター フェースづくり

Slide 33

Slide 33 text

We are Hiring !!! © 2024 Wantedly, Inc. データの力で理想的なマッチングを実現する仲間を募集中！ カジュアル面談ページ