ももくり3年レコメンドエンジン5年

by Tech Leverages

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

阪上晃幸一橋大学大学院を修了後、2012年よりレバレジーズ株式会社マーケティング部に所属。 Webマーケティングと新規事業開発、データ分析、RPAと色々と経験した後、 2019年よりデータ戦略室の室長としてデータドリブン経営を実現するために日々奮闘中。趣味はトランペットで、G1ファンファーレの出演経験あり。レバオケの部長もやってます。個人ブログ：https://kamonohashiperry.com/ TERUYUKI SAKAUE マーケティング部データ戦略室室長兼データサイエンティスト ©2024 Leverages inc.

Slide 4

Slide 4 text

用語  CA・・キャリアアドバイザー  SFA・・営業支援システム  CRM・・顧客関係管理    案件や人材のカテゴリー  WEB・・Webアプリ開発系  IN・・インフラ系  CR・・クリエーター系 

Slide 5

Slide 5 text

Slide 6

Slide 6 text

蓄積されたデータを用いて、ユーザーの目的にマッチする組み合わせを計算し、ユーザー体験を向上させるもの ©2023 Leverages inc. ● 要件 ○ ヒアリングした情報を入力し、人材が商談設定につながるような案件がレコメンドされるツール ● 目標 ○ 案件検索にかかる時間を短縮し、なおかつ熟練の CAのスキルでなくとも商談設定をしやすい案件を見つけれるようになり、案件提案のスピード・商談設定率が向上することを目指すレコメンドアルゴリズムとは

Slide 7

Slide 7 text

Slide 8

Slide 8 text

レコメンドアルゴリズムの発展 ©2024 Leverages inc. 黎明期挫折期やり直し期新体制離陸 ● 事業部長への提案   ● アルゴリズム開発開始   ● コロナショックでパイロットテストが見送り   ● CRMの案件配信メールで活用   ● アルゴリズムの刷新   ● 2段階レコメンドモデルの開発   ● バックテストによる過去データの模倣   ● CAとタッグを組んでアルゴリズムを開発   ● CAの重視している観点をアルゴリズムに反映   ● Flaskでの推論サーバ   2019~ 2020~ 2021~ 2022~ 2023~ ● アルゴリズムの洗練   ● 推論エンドポイント、学習パイプラインの開発   ● SageMakerでのAPIデプロイ（テク戦と連携）   2024~ 熟成期 ● 利用ユーザーをさらに拡大   ● レコメンドAPIを繋ぎ、   SFA内にレコメンド結果を表示   ● INやCRカテの網羅  

Slide 9

Slide 9 text

データ戦略室の発足時から将来を見据えて着工事業部長への提案〜アルゴリズム開発 ©2024 Leverages inc. ● 立ちはだかる3つの壁 ○ 1：エモの壁 ■ 営業の仕事を奪うなという意見をいただいた ● しかし、一部の営業マネジャーから作って欲しいという意見もいただいた ○ 2：データの壁 ■ データ基盤が存在せず、データが上書きされる状態 ■ ほとんどのデータが非構造化データ ○ 3：システムの壁 ■ 機械学習でレコメンドアルゴリズムを開発しても提供するインターフェースがなかった黎明期（2019年）

Slide 10

Slide 10 text

Covid-19がレコメンドプロジェクトを襲う ©2024 Leverages inc. 挫折期（2020年） ● 1年かけて作ったアルゴリズムを WEBカテゴリで実践する予定だったが、 Covid-19により案件が激減、パイロットチームを作れず ● 比較的案件数の多い CRカテゴリで試験運用するも、 WEBに比して機械学習が十分進んでいなかったため、 CAからのダメ出しの嵐により頓挫 ● 見かねた山本ヒロキが CRMでの案件配信メールでの活用を打診し、ピボット。年間数億円の粗利を今でも生み出しているアルゴリズムとなっている。

Slide 11

Slide 11 text

Slide 12

Slide 12 text

©2024 Leverages inc. レコメンドアルゴリズムで使うデータ（必須スキル）のためだけの機械学習アルゴリズム開発人力アノテーション前処理機械学習 3万件の必須スキルの各行ごとにSFAのスキルのペアを作成必須スキルをMeCabで形態素解析し機械学習の特徴量にするアノテーションしたデータを教師ラベルにマルチラベルかつマルチクラスでの RandomForestによる機械学習を実行 Scikit-Learnの  MultiOutputClassifier   を利用 

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

©2024 Leverages inc. 元モデル  新モデル  ・案件推薦・案件情報・エンジニア情報データ取得バッチ前処理バッチ機械学習バッチ・データ整形　・カテゴリ→数値化　・テキスト→数値化商談設定有無を教師データとした機械学習・案件推薦・案件情報・エンジニア情報・データ整形　・カテゴリ→数値化　・テキスト→数値化商談設定有無を教師データとした機械学習 BigQuery TreasureData スキルシート情報の構造化有償API 案件スキル情報の構造化アルゴリズムオリジナルアルゴリズム募集中案件の中で、どの案件を選ぶかを学習する機械学習案件のCAからの選ばれやすさ、商談設定のしやすさを重みづけてスコア化

Slide 18

Slide 18 text

Slide 19

Slide 19 text

アルゴリズムに足りていなかった現場の意見を反映し、使えるものに ©2024 Leverages inc. 新体制（2022年） ● 事業部長より、優秀な CAを複数名アサインしてもらい、毎週レコメンドツールを使ってもらい、 500件を超えるフィードバックをしてもらった ● レコメンドのためだけにヒアリングフォーマットを改修してもらった ● CAは重視しているがアルゴリズムには反映されていないものを一緒に考えていき、数々のフィルター機能が追加された ● 利用することによる商談設定率をモニタリングし、レコメンドツールを使う方が展開率が良くなるカテゴリが出るなどした

Slide 20

Slide 20 text

Slide 21

Slide 21 text

©2024 Leverages inc. 機械学習による案件情報と人材情報の  フリーテキストでのクラスタリング&マッチ C#のマッチのケース  web, php, c++, objective-c, ruby, python, perl, android, java, javascript, html, css, sqlserver, oracle, vb.net, linux, aws vb, visualc, microsoftvisualc, vba, java（gitやってない系） php, python, java, javascript, html, css, sqlserver, oracle, vb.net, linux, java WEBの  申し子系  VB系で  gitやらない子系  WEBやるけど、  ほどほど系  asp.net, 構築, db, インフラ, セキュリティ, 保守, データ, oracle asp.net, javascript, html, css, アプリ, mvc, jquery システムや設計が含まれるの多い、テストや要件定義も多い, 上流 WEBの  お堅い系  WEBの  緩い系  お堅い  非Web系  案件側人材側

Slide 22

Slide 22 text

©2024 Leverages inc. 機械学習による案件情報と人材情報の  クラスタリング&マッチ案件名& 必須/尚可スキルエンジニアスキル前処理クラスタリングクラスタリング前処理案件クラスタ1 案件クラスタ2 案件クラスタ3 人材クラスタ1 人材クラスタ2 人材クラスタ3 案件クラスタ3 案件クラスタ2 案件クラスタ1 人材クラスタ3 人材クラスタ1 人材クラスタ2 マッチ！  マッチ！  マッチ！  過去データで  展開率のいい  組み合わせでマッチ  

Slide 23

Slide 23 text

Slide 24

Slide 24 text

CAとの協業により生み出された数々の機能① ©2024 Leverages inc. ①必須スキルの照合ができる   ②時期先人材向けのレコメンドができる   ③リモート可否を絞り込める   ④商談設定するかどうかを機械学習   ● SFAの画面をみてスキルを満たしているかどうかを目視でチェックする苦労が緩和   ● 一部、経験年数も照合できる   ● 時期先の情報を考慮して、未来に募集開始する案件から案件をレコメンドしてくれる   ● SFAにはない、リモートでの絞り込みが可能   ● 案件人材双方で合致しているものも絞り込み可能  ● 地方不可についてもデータで絞り込める     ● 過去3年分の案件推薦データを用いて商談設定するかどうかを機械学習している。   ○ 何に最適化するかを一緒に考え進めた  

Slide 25

Slide 25 text

CAとの協業により生み出された数々の機能②  ©2024 Leverages inc. ④過去のNG理由も確認できる   ⑤年齢上限について絞り込める   ⑥希望単価よりも高いか低いかも絞り込める   ⑦商流でも絞り込める   ● 過去に挑戦した同じ案件に再度挑戦するべきかの判断に使える  ● SFAにはない項目   ● SFAだと下限の金額を入力する必要があるが、1 つのカラムの絞り込みだけでOK     ● 「END→レバテック」、「二次請け→レバテック」   などの商流で絞れる  

Slide 26

Slide 26 text

Slide 27

Slide 27 text

可用性を高め、 LTSF実装に繋げていく1年 ©2024 Leverages inc. 熟成期（2023年） ● 十分にCAが使える水準に達したため、 SFAへの案件レコメンドアルゴリズムの実装を提案 ● SFAへの実装はシステムリソースの観点で難があったため、 SageMakerでの案件レコメンド APIの開発を優先することに ● テクノロジー戦略室と協業し、要件を落とさずに、データ前処理→学習→推論の全てをSageMakerで実現 ● 育休を経て、FlaskサーバからSageMakerによる推論エンドポイントへの載せ替えに成功 ○ 次は案件レコメンド APIをSFAに反映させるフェーズ

Slide 28

Slide 28 text

Slide 29

Slide 29 text

©2024 Leverages inc. 元の機構  新機構  GCE上に Ubuntu環境を構築し Pythonの実行環境を用意、 cronによる定期実行でデータ取得、前処理、機械学習諸々のバッチ処理を実行（メモリは32GB）データ取得バッチ前処理バッチ機械学習バッチ Flaskサーバ（暗号化済み）をGASで実行し、 RDSにアクセス推論画面スプレッドシート AWSのSageMakerの ProcessingJobでDockerを指定した上で、データ取得、前処理、機械学習を実行タスクの依存関係でバッチ処理を実行できるようになった処理落ちしなくなった SageMakerのEndpointで推論エンドポイントを作成、 GASからAPI Gatewayによりエンドポイントを実行し、 RDSにアクセススプレッドシートは変わらないが、 SFAで案件一括検索機能を追加

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

レコメンドアルゴリズムの発展(再掲) ©2024 Leverages inc. 黎明期挫折期やり直し期新体制離陸 ● 事業部長への提案   ● アルゴリズム開発開始   ● コロナショックでパイロットテストが見送り   ● CRMの案件配信メールで活用   ● アルゴリズムの刷新   ● 2段階レコメンドモデルの開発   ● バックテストによる過去データの模倣   ● CAとタッグを組んでアルゴリズムを開発   ● CAの重視している観点をアルゴリズムに反映   ● Flaskでの推論サーバ   2019~ 2020~ 2021~ 2022~ 2023~ ● アルゴリズムの洗練   ● 推論エンドポイント、学習パイプラインの開発   ● SageMakerでのAPIデプロイ（テク戦と連携）   2024~ 熟成期 ● 利用ユーザーをさらに拡大   ● レコメンドAPIを繋ぎ、   SFA内にレコメンド結果を表示   ● INやCRカテの網羅  

Slide 33

Slide 33 text

SFAの内部でレコメンドAPIを使ってもらう ©2024 Leverages inc. 離陸期（2024年） ● CAのみんながSFAで案件レコメンドを使う状態に ○ CAのみんなが使いたいと思えるようにシンプルなインターフェースで提供したい ○ 案件レコメンド用の画面を開発してもらい、開発したレコメンド APIを利用してもらう ■ 「ログが残る、カラムの増改築が容易」はマスト要件 ● INとCRのアルゴリズムの開発開始 ● WEBカテゴリでのレコメンド性能モニタリングは継続し行う