人材業界でのデータサイエンスの事例と展望

第74回 Machine Learning 15minutes! Broadcastでの発表資料です。
人材業界でのデータ分析のうまくいった事例 / しくじり事例などを共有しています。
これから人材業界のデータ分析に取り組みたい方、興味がある方はよろしければご覧ください。

Transcript

1. 人材業界での データサイエンスの 事例と展望 Machine Learning 15minutes 2023/02/25 レバレジーズ株式会社 データ戦略室 室長 阪上晃幸 ©2023 Leverages inc.
2. 自己紹介 00 ©2023 Leverages inc.
3. 阪上 晃幸 一橋大学大学院を修了後、2012年よりレバレジーズ株式会社マーケティング部に所属。 Webマーケティングと新規事業開発、データ分析、RPAと色々と経験した後、 2019年よりデータ戦略室の室長としてデータドリブン経営を実現するために日々奮闘中。 趣味はトランペットで、G1ファンファーレの出演経験あり。 個人ブログ：https://kamonohashiperry.com/ TERUYUKI SAKAUE マーケティング部データ戦略室 ©2023 Leverages inc.
4. 会社紹介 00 ©2023 Leverages inc.
5. Leverages Group Confidential イラスト/写真 ©2023 Leverages inc. 会社名 レバレジーズ株式会社　Leverages co.,Ltd. 所在地 渋谷スクランブルスクエア 24 ・ 25階 設立 2005年 従業員数 正規：1443名　非正規：640名（2022年5月時点） 資本金 5,000万円 年商 649億（2021年度） 事業内容 自社メディア事業・人材関連事業・システムエンジニアリング事業 M&Aコンサルティング事業・ ASP/ SaaS/クラウド関連事業
6. Leverages Group Confidential イラスト/写真 ©2023 Leverages inc. メディア・人材・システムエンジニアリング・M&Aの領域で国や業界をまたいだ問題解決を行っており、 約40のプロダクトが存在しています。 IT事業 医療/介護事業 若年層事業 海外事業
7. データ戦略室ブログ https://analytics.leverages.jp/ Confidential イラスト/写真 ©2023 Leverages inc. データ基盤・データ活用・分析ノウハウ・ データドリブンのためのBI浸透など、様々な領域を 扱ったブログ。 事業会社のデータ分析組織にノウハウ含め一矢報 いるためにメンバーたちで書き続けています。
8. 話すこと • 人材業界ならではデータ分析・実活用における事例、展望 • データ分析のうまくいった事例 / しくじり事例 発表に関する前提 Confidential ©2023 Leverages inc. 話さないこと • 最新のフレームワーク、ツールなどの解説 • 手法の詳細、データの詳細
9. 01.これまでのデータサイエンス事例 • 業界ならではの問題 • うまくいった事例 / しくじり事例 目次 Confidential ©2023 Leverages inc. 02.今後の可能性 • データでできそうなこと • 人を育てる • サービスの強みを作る存在へ
10. これまでの データサイエンス事例 01 ©2023 Leverages inc.
11. 事例紹介の前に 人材業界ならではの機械学習適用 における問題を紹介します ©2023 Leverages inc.
12. 構造化データの少なさ • 人材業界において、主要なデータの多くが非構造化データとなっている ◦ 大きく分けて、求職者側・求人側・社内オペレーションのデータがある ▪ 求職者側 • 履歴書、スキルシート、職歴、大事にしたい価値観、 etc. ▪ 求人側 • 必須要件、歓迎要件、仕事内容、 etc. ▪ 社内オペレーション • メール・通話音声・オンライン面談音声・ LINE、etc. 業界ならではの問題① ©2023 Leverages inc.
13. 揺れ動く求職者の要望・求人の要件 • スナップショットデータが不可欠 ◦ 求職者側 ▪ 人材紹介業において、求職者のやりたいこと、経験してきたことは、 カウンセリングや求人の提案の度に情報がアップデートされる。 ◦ 求人側 ▪ 求人の要件は求職者と実際に面接することで事後的に見直されたり、 要件を狭めたり広げたりとその時々で情報がアップデートされる。 業界ならではの問題② ©2023 Leverages inc.
14. 遅れて観測される&不均衡データ • 内定承諾などのプロセスを教師データにすると、観測されるまで数十日以上はかかるうえ、一人 につき承諾は1つだけなので不均衡データになりやすい ◦ 早めに観測される、中間となるプロセスを教師データとすることが多い ▪ ただし、その場合は性能が上がっても KGIが達成されるとは限らないので注意が必要 ◦ 3軸以上でクロス集計などの EDAをすると、データ数がとても少なくなる 業界ならではの問題③ ©2023 Leverages inc.
15. 構造化データの少なさ 揺れ動く求職者の要望 ・求人の要件 遅れて観測される& 不均衡データ モデルのフィードバックはすぐには 得られない。不均衡データならではのテ クニックで対応するか、 中間指標を教師データとするか 計画的にスナップショットデータを蓄積 しておかないと正しい機械学習を行うこ とは難しいため、データ 基盤への投資が重要 非構造化データを構造化データに変 換するなどの技術を保持することが 重要 再掲：人材業界ならではの問題 ©2023 Leverages inc.
16. うまく行った事例 ©2023 Leverages inc.
17. CRMメール配信に載せる 求人情報の選定アルゴリズム ©2023 Leverages inc. • 課題 個々の求職者の指向性にマッチした求人情報を メール配信することで、より円滑な転職活動を 支援する。 • 実践 蓄積された求職者と求人の構造化データをメインに ラン ク学習を行い、メールを開封して応募したくなるかどうか をスコア化し、上位の求人をメール配信で送付し既存手 法よりも高い反応率となった。 うまくいった事例① 前処理
 ランク学習
 メール配信
 配信結果

18. 潜在的なサービス利用ユーザー へのWebマーケティング Confidential ©2023 Leverages inc. • 課題 利用実績のあるユーザーに重きをおいて インターネット広告などを出していたが、潜在的な 利用ユーザーも考慮して運用し、ターゲットとなるユー ザーを広げる。 • 実践 過去の蓄積データから機械学習を行い、利用実績のみ ならず、潜在的なユーザーに関しても SA360という広告 プラットフォームに考慮してもらうことで、 理想的な広告運用を実現した。 うまくいった事例② 1ヶ月後に 利用しそう 1ヶ月後に 利用しなさそう 利用実績あり 利用実績なし これまでのターゲット 
 漏れているターゲット 

19. 求人レコメンドアルゴリズム ©2023 Leverages inc. • 課題 人間が処理できる限界を超えるほどの求人情報の中か ら、求職者にマッチした求人を見つけることで、 より良い転職体験を届ける。 • 実践 求人・経歴など非構造化データを特徴量に落とし込み、 機械学習を行いマッチする確率をスコアで計算し、ルー ルベースのフィルターで絞り込むという、 ハイブリッドアルゴリズムを開発。 人間と遜色ない性能を実現している。 うまくいった事例③ 統合&前処理
 人材情報
 求人情報
 過去の
 マッチ結果
 機械学習
 フィルター
 推論エンドポイント

20. 必須要件のアノテーション& 分類アルゴリズム ©2023 Leverages inc. • 課題 非構造化データではあるが、求人提案において重要な 必須要件の情報を構造化データに変換することで、機械 学習やデータ分析できるようにする。 • 実践 3万件ほどのレコードをデータサイエンティストが 人力でアノテーションをして、マルチクラス・マルチラベル での機械学習を行い、必須要件のテキストを入力して、 構造化データを出力するモデルを作成。 うまくいった事例 （番外編） スプレッドシートで 気合と根性で 行いました
21. ©2023 Leverages inc. 元表現
 予測ラベル

22. しくじり事例 ©2023 Leverages inc.
23. 画像分類による企業と クリエイターの画風マッチ ©2023 Leverages inc. • 課題 作風が似ているという観点で自動マッチングすることで、 デザイナー作品と企業を結びつける。 • 実践 VGG16などのCNNベースのアルゴリズムを適用し 作品の画像と企業とのマッチング度を計算 • 七転八倒の理由、今後の改良 作品集のフォーマットが多種多様で、そのままの データで学習させることが厳しかった。 アノテーション体 制を構築して進めていくことが重要。 しくじり事例① 作品集の一例（以下が一色単） 
 ブログに画像だけ 貼ってある
 3DCGの作品
 パーツだけ
 作った作品
 キャラクター

24. ユーザーのデータが偏る ©2023 Leverages inc. • 課題 採用面接のプロセスのステータスを教師データに 機械学習をすることで、候補者がどれくらい 先のプロセスに進むかを予測する。 • 実践 採用プロセス関連のデータをもとに機械学習することで AUCが80%以上のモデルが完成。 • 七転八倒の理由、今後の改良 うまくプロセスが進んだユーザーのデータ以外は カラム単位で欠損する 傾向が強く、機械学習の性能はよ くても汎化性能が低かった。データの発生 タイミングを厳密に理解してモデリングをする。 しくじり事例② Stage1
 Stage2
 Stage3
 めちゃ欠損
 やや欠損
 欠損なし
 目標達成
 欠損する/しないを 学習してしまってい る😭 プロセス 開始
 プロセスの進行度とデータの欠損具合 

25. RCTを実行しにくい ©2023 Leverages inc. • 課題 サービスの予約を忘れていそうな顧客を機械学習 で予測して思い出してもらう • 実践 機械学習によりまずまずの性能のモデルが完成したので、 RCT で実験をしたい • 七転八倒の理由、今後の改良 分析を進める過程で、 RCTをできるかどうか議論を行ったが、オ ペレーションの混乱を招くため、 予約の後に必ず電話する業務フ ローが確立してしまった。 分析機運の高まりが業務フローの変更 を誘発することがあるので注意する。 しくじり事例③ RCTよりかは 全件対応で サービスをしたい 蓄積データで当日キャンセルをモデリング 
 けっこう 当たるモデル かも
26. 今後の可能性 02 ©2023 Leverages inc.
27. キャリアの科学 ©2023 Leverages inc. データでできそうなこと① • アイデア 過去の数万人以上のユーザーのキャリアのデータ をもとに、どれくらいの期間で、どんなスキルを 身につけ、どういうポジションを経験しているのかを分析 し、各人のキャリアの指針を知れ、エージェントとして最 強レベルの知見を手に入れる。 • 実現するには 職歴のデータの構造化、ユーザーの追跡調査、 仕事内容、職種、ポジションの表現の統一、企業名名寄 せ、企業のグルーピングなどの徹底化のちに、 機械学習を行う。 前処理後、 分析用DBの構築 構造化データ
 非構造化データ
 プログラミング 
 インフラ
 マーケティング 
 ネットワーク 
 IoT
 統計学
 UI/UX
 ???
 ???
 ???
 ???
 ???
 ???
 ???
 ???

28. 需給バランスを考慮した 求人作成支援システム ©2023 Leverages inc. データでできそうなこと② • アイデア 求人票を企業が作成する際に、入力した求人要件に応 じて動的に求職者の応募可能性を予測する。 応募が集まりやすい条件と譲れない条件を天秤にかけ て求人票を作成できる。 • 実現するには 要件ごとに応募のしやすさを機械学習してスコアリング する。ただし、交絡の可能性もあるので、 モデリングは慎重に進める必要がある。 また、瞬時にスコアを返す 軽量なモデルが必要。 貿易事務を必須としな いなら応募率 N%アップ！ 貿易事務は譲れないけど、 マイカー通勤 OKにしよう 写真も載せよう マイカー通勤 OK なら応募率 M%アップ！ 採用
 担当者
 求人票
 働いている人の写真 載せたら応募率 L%アップ！
29. 面接関連の動画解析 ©2023 Leverages inc. データでできそうなこと③ • アイデア 面接においてどういった対策が重要であるか振り返るこ とが可能なアルゴリズムの開発。 • 実現するには 動画に対して画像を特徴量化したり、文字起こしをする などして面接の成否をラベルにして機械学習する。職種 によって、表情を含めた伝え方が大事だったり内容のロ ジックのもっともらしさが大事だったりするので、画像ば かりでなく発言内容も重視。 面接動画
 画像・動画特徴量
 テキスト特徴量
 モデル作成後、
 成否の差を振り返れるシステムを開発 

30. 人材業界で働く若手社員はデータを活用して 顧客にコミットする指向性が強い • 思い切った意思決定ができる人にデータという武器を授ける ◦ データ分析官が与える影響よりも、ドラスティックな影響を サービスや会社に与える可能性がある。 ▪ データ分析官が業務フローを変更するのは限界がある ▪ 正しく使うという観点でのデータ活用リテラシーも重要 • きめ細かなデータ活用を実現 ◦ 営業担当者が個別の企業や人材群に対して回帰分析を行う、予測を行い意思決定する ▪ データサイエンティストだけでは社内の全ての問題を解く時間はない 人を育てる ©2023 Leverages inc.
31. 人材業界のDXは道半ば、 作られるべきプロダクトはまだまだある • データ主導のプロダクト開発 ◦ データ分析組織がサービスを唯一無二に至らしめるキーパーソンになりうる ◦ プラットフォーム開発まで広げる • 非構造化データの環境を打破するアルゴリズムの開発 • 業務効率化のツール開発によるオペレーション改善 サービスの強みを作る存在へ ©2023 Leverages inc.
32. ご清聴ありがとうございました！ Confidential ©2023 Leverages inc.
33. 色々なポジションで 採用中 Confidential ©2023 Leverages inc. • こんなことができます • 事業成長のためのデータ活用 • グロースのためのツール開発 • データドリブン組織の作り込み • こんな人たちと仕事 • 物理学、脳科学、数学などがバックグラウンドの データサイエンティスト • プロダクト開発経験者 • SE・アプリ開発エンジニア https://recruit.jobcan.jp/leverages/show/b01/448072 
 https://recruit.jobcan.jp/leverages/show/b01/442370 
 https://recruit.jobcan.jp/leverages/show/b01/14743