AIドリブンカンパニー化に向けた 組織の成長とデータ基盤の進化

primeNumber社主催のカンファレンス、01(zeroONE)2024での登壇資料です。
https://primenumber.com/01/2024/timetable/V-4

【概要】
HRサービスを展開するエン・ジャパンでは近年、データ分析専門組織の立ち上げと強化を重ね、2024年7月には「AIテクノロジー室」を発足しました。データ基盤も専門人材も不在の状況から紆余曲折を経て、プロダクト横断のデータ集約やAIアルゴリズムの開発までを担う組織に進化を遂げています。

本セッションでは、今に至るまでの課題解決プロセスを「組織の成長」と「データ基盤の進化」の2つの観点から振り返り、AIドリブンな企業を実現するための要点について議論します。

Transcript

1. エン・ジャパン株式会社 AIテクノロジー室 マネージャー 松尾祐太郎 AIテクノロジー室 データエンジニアチームリーダー 濱田宏一 AIドリブンカンパニー化に向けた 組織の成長とデータ基盤の進化
2. © primeNumber.Inc 松尾 祐太郎 エン・ジャパン株式会社 AIテクノロジー室 データサイエンス第1グループ マネージャー 濵田 宏一 エン・ジャパン株式会社 AIテクノロジー室 データサイエンス第2グループ データエンジニアチームリーダー
3. こんなことありませんか？ 3 AI活用したい。 
 なんとかして？ 
 できる人いないっすよ。 （わかりました） 

4. 本日お伝えすること 4 エン・ジャパンがAI活用を「なんとかする」までの
 試行錯誤をお伝えします
 基盤 課題
 解決策
 データ専門組織なし
 AI人材不在
 データ分析組織立ち上げから
 AI組織へ拡張
 データ一元管理
 BI分析・AI開発ができる状態
 データ基盤なし
 組織 基盤
5. 1 エン・ジャパンについて 2 AIドリブンカンパニー化に向けた組織の成長 3 AIドリブンカンパニー化に向けたデータ基盤の進化 4 まとめ 5 目次
6. 松尾 祐太郎 エン・ジャパン株式会社 AIテクノロジー室 データサイエンス第1グループ マネージャー - 2012年にエン・ジャパンに新卒入社 - 2019年にデータ分析の専門部署を立ち上げ - Tableau の認定資格「Tableau Data Saber」の保有者
7. © primeNumber.Inc SECTION 1 エン・ジャパンについて
8. © primeNumber.Inc 設立 2000年 設立24年目 売上高 676億円 2024年3月期実績 社員数 3,317名 2024年3月末現在 海外展開 ベトナム インドなど プロダクト数 20以上 上場区分 東証プライム 会社概要
9. © primeNumber.Inc 展開しているプロダクト・事業 採用支援領域 
 活躍支援領域 新規事業 
 海外事業 
 メディア運営
10. 注力する取り組み
14. © primeNumber.Inc 誰かのため、社会のために 懸命になる人を増やし、世界をよくする 〜Inner Calling ＆ Work Hard〜 パーパス（私たちの存在意義）
15. AIに関する取り組み
16. © primeNumber.Inc 今年7月に発足したAI専門部署 AIテクノロジー室について データ分析 ビッグデータ分析をもとにしたプロダクトの 問題分析・課題発見 データ取得・蓄積 各プロダクトの募集〜採用、入社後の定着・活躍 までのデータを一箇所に集約 AIアルゴリズムの研究開発 AI技術の研究・独自のアルゴリズム開発 ▍ミッション
17. © primeNumber.Inc 『ミドルの転職』にGPT ツールを用いた職務要約 の自動生成機能を搭載 離職予防ツール
 『HR OnBoard』に
 AIによるフリーコメント自 動判定システムを導入 独自のAI技術により
 商談を解析・可視化する 『エンSX セールスアナリ ティクス』を提供 AI組織立ち上げ以前から様々な取り組みを推進 エン・ジャパンの AI活用事例
18. 02 AIドリブンカンパニー化に向けた 組織の成長 SECTION 2 AIドリブンカンパニー化に向けた 組織の成長
19. © primeNumber.Inc AIドリブンカンパニーとは？ AIを中核に据えて事業活動を行う企業 参考：社内LLMチャットボット『enChat』（GPT-4o） 

20. © primeNumber.Inc AIドリブンカンパニーとは？ 『AI-Ready』指針のレベル4〜5相当の企業 AI活用戦略～AI-Readyな社会の実現に向けて～(一般社団法人 日本経済団体連合会)
21. © primeNumber.Inc AIドリブンカンパニーに必要な要素 AI活用戦略～AI-Readyな社会の実現に向けて～(一般社団法人 日本経済団体連合会) 経営 組織 基盤
22. © primeNumber.Inc 本日お伝えする範囲：ステップ AI活用戦略～AI-Readyな社会の実現に向けて～(一般社団法人 日本経済団体連合会) 経営 組織 基盤
23. © primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用
 データ専門組織の
 立ち上げ・拡大
 データ元が分散
 データ・AI活用
 データ領域の
 専門集団に変革
 データ元が分散
 競争優位となる
 テクノロジーコアの創 出
 組織を格上げし
 独立予算を獲得
 データ一元管理
 分析/AI用途に対応
 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021
 組織 ミッション 基盤
24. © primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用
 データ専門組織の
 立ち上げ・拡大
 データ元が分散
 データ・AI活用
 データ領域の
 専門集団に変革
 データ元が分散
 競争優位となる
 テクノロジーコアの創 出
 組織を格上げし
 独立予算を獲得
 データ一元管理
 分析/AI用途に対応
 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021
 組織 ミッション 基盤
25. © primeNumber.Inc データ組織を立ち上げることができたポイント 個人レベルでのスモールな
 「データドリブンな意思決定」事例を上司にアピール 効果検証
 ABテストの結果を一覧参照できる仕組みの構築（Excel） 
 
 KPIモニタリング・要因分析
 KPIの増減要因をグラフで可視化。増減の要因分析を毎日・毎週・毎月実施 
 
 課題分析
 ファネル分析やなどのシンプルな分析で課題発見と改善策の提案
26. © primeNumber.Inc Phase1における具体的な取り組み うまくいった取り組み
 失敗した取り組み
 • 未経験人材の採用・戦力化
 • 外部研修(primeNumberなど)
 • 売上貢献施策への関与
 • BIツールの導入（Tableau）
 • DWHの導入（Redshift）
 • 分析用データマートの構築
 • データソースの拡張
 • 専門人材育成プログラムの構築
 • 「データ部門」化
 • ダッシュボード文化構築
 • 脱データ手動更新
 • 脱「人間データAPI」
 • ドキュメント整備・更新
 組織 基盤
27. © primeNumber.Inc Phase1（2018〜2021）の結果 課題
 解決策
 データ専門組織なし
 データ活用人材不在
 データ分析の専門組織立ち上げ
 データで意思決定ができる
 未経験人材を採用・育成
 DWHに分析用データを格納 BIツール（Tableau）を活用
 Misson データ分析・活用の推進
 データ基盤なし
 SQL以外の接続環境なし
 組織 基盤
28. © primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用
 データ専門組織の
 立ち上げ・拡大
 データ元が分散
 データ・AI活用
 データ領域の
 専門集団に変革
 データ元が分散
 競争優位となる
 テクノロジーコアの創 出
 組織を格上げし
 独立予算を獲得
 データ一元管理
 分析/AI用途に対応
 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021
 組織 ミッション 基盤
29. © primeNumber.Inc ミッションに AI活用が追加されたきっかけ AI活用したい。 
 なんとかして？ 
 できる人いないっすよ。 （わかりました） 

30. © primeNumber.Inc データアナリスト組織が AI活用ミッションを担った理由 
 
 AIを学び、活用し たい人材が
 複数存在 
 
 グループ内に
 データを扱う
 ナレッジが蓄積 
 競争優位性獲得 のために
 AI活用がマスト
 MUST
 CAN
 WILL

31. © primeNumber.Inc Phase2における具体的な取り組み うまくいった取り組み
 失敗した取り組み
 • AIリスキリングプログラム
 • 専門職（AIE,DE）人材の採用
 • 外部の各種勉強会・研修参加
 • 資格取得支援
 • ETLツール（TROCCO®）導入
 • ダッシュボード文化の構築
 • マルチクラウド（AWS+GCP）
 • 既存AIロジックの改善
 • データの民主化
 • Auto MLやAIツールの導入
 • BI・ETL環境の負荷分散
 • データマートの乱立回避
 組織 基盤
32. © primeNumber.Inc Phase2（2022〜2023）の結果 課題
 解決策
 AI活用人材不在
 既存人材の育成＋
 専門人材の採用
 ETL整備
 （TROCCO®+Tableau Prep）
 ローカル環境でのAI開発
 Misson プロダクトへのデータ活用・AI活用
 
 分析タスクの大量発生
 AIモデル構築ニーズへの対応
 組織 基盤
33. © primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用
 データ専門組織の
 立ち上げ・拡大
 データ元が分散
 データ・AI活用
 データ領域の
 専門集団に変革
 データ元が分散
 競争優位となる
 テクノロジーコアの創 出
 組織を格上げし
 独立予算を獲得
 データ一元管理
 分析/AI用途に対応
 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021
 組織 ミッション 基盤
34. © primeNumber.Inc Phase2以前とPhase3の違い 目的
 人材
 評価体制
 カルチャー
 基盤
 Phase2（これまで） Phase3（今後） 持続的イノベーション
 破壊的イノベーション
 ゼネラリスト
 ゼネラリスト×スペシャリスト
 能力＋成果
 能力＋成果＋プロセス
 やや中央集権型
 自律分散ネットワーク型組織
 データ分析用途がメイン
 データ分析＋AI開発
 組織に求められる形態が変化

35. © primeNumber.Inc Phase3の状況 AIドリブンカンパニーのスタートラインに立てました AI活用戦略～AI-Readyな社会の実現に向けて～(一般社団法人 日本経済団体連合会)
36. © primeNumber.Inc Phase3（2024〜今後） 課題
 解決策
 AI開発・基盤開発人材の不足
 独自技術蓄積の不足
 独立組織の立ち上げ / 採用強化
 R&Dの推進
 AI開発を見据えた
 データ分析基盤の立ち上げ
 （詳細はパート03で）
 Misson 競争優位となるようなテクノロジーコアの創出
 AIモデル構築ニーズへの対応
 BIツール側でのETL負荷増加
 組織 基盤
37. © primeNumber.Inc Phase3（2024〜今後） 課題
 解決策
 AI開発・基盤開発人材の不足
 独自技術蓄積の不足
 独立組織の立ち上げ / 採用強化
 R&Dの推進
 AI開発を見据えた
 データ分析基盤の立ち上げ
 （詳細はパート03で）
 Misson 競争優位となるようなテクノロジーコアの創出
 AIモデル構築ニーズへの対応
 BIツール側でのETL負荷増加
 組織 基盤
38. 04 まとめ 02 AIドリブンカンパニー化に向けた 組織の成長 SECTION 3 AIドリブンカンパニー化に向けた データ基盤の進化
39. 39 濵田 宏一
 エン・ジャパン株式会社 AI テクノロジー室
 データサイエンスグループ第２
 
 - 2023年4月にエン・ジャパンに入社。 - データ分析基盤の構築と運用保守を担当 
 

40. © primeNumber.Inc 現在のデータ分析基盤
41. © primeNumber.Inc これまでの流れ 2023/4 濵田入社
 2024/7 AI テクノロジー室
 発足
 2023/10 Databricks 導入
 2024/4 Databricks
 利用開始
 2023/8 DatabricksP oC
 調査・現状把握・
 サービス選定
 TROCCO® やその他とのデータ連携作業
 ユーザー利用
 運用・保守
 RDS 連携作業
 PoC
 導入対応
 エンゲージ以外との
 データ連携作業

42. © primeNumber.Inc データ分析基盤構築にあたっての課題 必要なデータをすぐに利用できる 
 そのデータを使って AI 開発ができる 
 
 環境を作りたい！！ 
 データ分析基盤を作る上で考えたことは

43. © primeNumber.Inc データ分析基盤構築にあたっての課題 使ってもらうにはどうするか？ 
 • ユーザーのスキルにマッチした仕組みを導入する。 
 • 操作が直感的にわかって使いやすい。 
 • 作業工数を低減がわかりやすい。 
 • ハレーションを最小限にする説明。 
 • メリットをきっちりと説明。 
 必要な機能は何か？ 
 • データソースに接続してデータを抽出、保存できる。 
 • データ分析ができる。 
 • AI、機械学習モデルの構築、検証、性能評価ができる。 
 運用保守は容易か？ • 初期は専任１名で対応が必要 
 • 開発と運用保守の兼任で対応が必要 
 • 障害もあるかもしれない。 
 データ管理 • データの保存場所、処理を行う場所は適切か？ 
 • ユーザーごとに適切な権限を設定できるか？ 
 • データに対する権限設定は容易か？ 
 セキュリティ 
 • データ本体へのアクセスはできないようにしたい。 
 • インフラは隠蔽したい。 
 • ローカル環境でのデータ編集はできないようにしたい。 
 • ユーザーの操作やクエリー等のログは収集したい。 
 • IP アドレスによる接続フィルタも利用したい。 
 • 多要素認証にしたい。 

44. © primeNumber.Inc データ分析基盤構築にあたっての課題 必要な機能 
 • データソースとの接続が容易
 • データの抽出、編集、保存 • データ分析 • AI、機械学習モデルの開発、評価 利用展開、推進 
 • ユーザーのスキルにマッチ
 • サービスを使いやすい
 • メリットや効果が説明しやすい
 セキュリティ • データ本体、インフラを隠蔽 • 操作ログ等を自動収集 • 多要素認証 • IP アドレスフィルタ 運用保守、データ管理 • 自社管理ストレージへの保存
 • ユーザーごとに適切な権限設定 • 権限設定が容易 • サービス、グループ等でセグメント設定 • 少人数での運用保守、管理
 下記がより多く実現できる仕組みを導入したい。

45. © primeNumber.Inc ユーザー像 データ ソース
 データ分析基盤
 データアナリスト データサイエンティスト 機械学習エンジニア AI エンジニア データ ユーザー像を考えました。

46. © primeNumber.Inc ユーザー像 データアナリスト、データサイエンティスト
 ▍できること
 • SQL で必要なデータを抽出。
 • （Python での処理作成）
 ▍対応が難しいこと • インフラの構築
 • マシンスペックの選定
 • 専門的なセキュリティ知識
 機械学習エンジニア、AIエンジニア
 ▍できること
 • SQL で必要なデータを抽出
 • Python での処理作成
 • マシンスペックの選定
 ▍対応が難しいこと
 • インフラの構築
 • 専門的なセキュリティ知識

47. © primeNumber.Inc データ分析基盤を構築するのに、どのようなサービスを利用するかを考えました。
 代表的なサービスと長所、短所 
 AWS ,Google Cloud Databricks,Snowflake TROCCO®,Tableau
 長 所
 1. 自由度がとても高い。 
 1. 自由度が高い。 
 2. SQL , Python 等で処理を構築可能 
 3. インフラを意識する必要はない。 
 4. 一般的なセキュリティ意識があれば良い。 
 
 1. プログラミングの知識があまりなくても直感的 に処理の構築や作業が可能 
 2. 稼働マシンの性能やインフラを意識する必要 はない。
 3. 一般的なセキュリティ意識があれば良い。 
 4. 運用保守が楽
 短 所
 1. 専門性のある知識が必要 
 2. 直感的には操作が難しい。 
 3. 稼働マシンの性能を選定が必要 
 4. インフラの構築も必要 
 5. セキュリティ機能の知識 
 6. 権限やコストの管理が大変 
 1. 直感的には操作が難しい。 
 2. 稼働マシンの性能を選定が必要。 
 3. コストが大きい。 
 1. 自由度が低い。 
 2. AI開発をはじめ、できないことも多い。 

48. © primeNumber.Inc サービスの選定 
 AWS,
 Google Cloud Databricks,
 Snowflake TROCCO®,
 Tableau prep
 課題への対応
 ◯ ◯ × データアナリスト
 データサイエンティスト
 × △ ◯ AIエンジニア
 機械学習エンジニア
 × ◯ ◯ 運用保守
 × ◯ ◯ ユーザー像、サービスの長所と短所、サービス内容を検討して、Databricks を選定

49. © primeNumber.Inc 導入 (2023年9月) Databricks の導入 • 期間
 – 2023年10月〜2024年3月 • 用途
 – 試用
 – データソースとの接続 • 費用
 – 最小限
 – クラスターの性能、数は最小限
 • 想定ユーザー数
 – 6 名程度
 PoC (2023年8月) 下記を実施して、見極め • ワークスペースの構築 • Notebook によるデータマート作成 • SQL エディタによるクエリの発行 • AutoML でのモデル構築 • Tableau Desktop との接続 • BigQuery との接続（ GA データ取り込み）
50. © primeNumber.Inc 導入後の状況 必要な機能 
 • データソースとの接続が容易
 • データの抽出、編集、保存 • データ分析 • AI、機械学習モデルの開発、評価 セキュリティ • データ本体、インフラを隠蔽 • 操作ログ等を自動収集 • 多要素認証 • IP アドレスフィルタによるアクセス制限 導入によって実現された内容について、説明します。
 ◦ 課題解決 
 • レイクハウスフェデレーション機能やパートナーコネクト 
 • Jupyter notebook、SQL エディタ 
 • ETLやAI開発用クラスター構築が容易ですぐに利用可能 
 • AutoML
 ◦ 課題解決 
 • ブラウザ上でのオペレーション 
 • １年分の監査ログ、クエリー履歴の保存 
 • SSO でのログイン
 • IP アドレスフィルタ適用 

51. © primeNumber.Inc 導入後の状況 利用展開、推進 
 • ユーザーのスキルにマッチ
 • サービスを使いやすい
 • メリットや効果が説明しやすい
 運用保守、データ管理 • 自社管理ストレージへのデータ保存
 • ユーザーごとに適切なデータの権限設定が可能 • データの権限設定が容易 • サービス、グループ等でセグメントを設定可能 • 少人数での運用保守、管理が可能
 △ 改善を続ける必要あり 
 • サービスはとっつきにくい方と考えているので、サポートが 必要。
 • サンプルを提供しながら、Python と notebook に慣れてい ただく。 • メリット、効果を説明できるように実績を作る。 
 • エンゲージ以 外のサービスにも導 入してもらえるように実 績を作る。
 ◦ 課題解決 
 • Unity Catalog • 自社契約 AWS アカウントの S3 にデータ保存 
 • ユーザー、グループレベルで権限設定が可能 
 • ワークスペースによるセグメントの設定 
 • 2024年7月までは 1 名、現在は２名で運用保守 

52. © primeNumber.Inc 主なデータ分析の流れ 分析・可視化
 ノートブックで ETL 処理を作成
 ワークフローでデータ加工フローと
 スケジュールを設定
 データマート作成
 Tableau Desktop から Databricks に接続してデータを参照
 Tableau Desktop でデータ分析、可視化
 データ参照
 データマート
 フロー作成
 ETL処理作成

53. © primeNumber.Inc AI モデル開発の流れ ノートブックで学習データ作成処理を作成
 学習データを作成
 AutoML 、ノートブックで学習と評価を実行
 学習・評価
 学習データ
 ETL
54. © primeNumber.Inc 利用者数の推移 2024年11月現在の全ユーザー数は 76 名、
 データサイエンスグループのユーザー数は 27 名です。

55. © primeNumber.Inc 今後のデータ分析基盤
56. © primeNumber.Inc ISMS
 今後、やっていきたいこと あれもしたい！これもしたい！ 
 面白そうなことをしたいけど、手が足りない！！ 
 バックオフィスデータ連携
 サービス横断したデータ活用環境構築
 全サービスデータ集約
 データガバナンス
 CI/CD MLOps
 Databricks Apps セキュリティ向上
 他 Saas との連携
 システムログデータ収集
 DataOps
 データの民主化
 コストの削減、効率化
 AWS, Google Cloud サービスの活用 
 学習・技術力の向上
 より多くのデータを活用できるように！
 データ運用を安定かつ効率的に！
 メンバーの技術力、スキルの向上を！！
 運用保守
 ユーザー支援
 HELP!!

57. 04 まとめ 02 AIドリブンカンパニー化に向けた 組織の成長 SECTION 4 まとめ
58. 本日お伝えすること 58 エン・ジャパンがAI活用を「なんとかする」までの
 試行錯誤をお伝えします
 基盤 課題
 解決策
 データ専門組織なし
 AI人材不在
 データ分析組織立ち上げから
 AI組織へ拡張
 データ一元管理
 BI分析・AI開発ができる状態
 データ基盤なし
 組織 基盤
59. © primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用
 データ専門組織の
 立ち上げ・拡大
 データ元が分散
 データ・AI活用
 データ領域の
 専門集団に変革
 データ元が分散
 競争優位となる
 テクノロジーコアの創 出
 組織を格上げし
 独立予算を獲得
 データ一元管理
 分析/AI用途に対応
 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021
 組織 ミッション 基盤
60. © primeNumber.Inc Phase3の状況 AIドリブンカンパニーのスタートラインに立てました AI活用戦略～AI-Readyな社会の実現に向けて～(一般社団法人 日本経済団体連合会)
61. © primeNumber.Inc 現在のデータ分析基盤
62. © primeNumber.Inc 今後のデータ分析基盤
63. © primeNumber.Inc ISMS
 今後、やっていきたいこと あれもしたい！これもしたい！ 
 面白そうなことをしたいけど、手が足りない！！ 
 バックオフィスデータ連携
 サービス横断したデータ活用環境構築
 全サービスデータ集約
 データガバナンス
 CI/CD MLOps
 Databricks Apps セキュリティ向上
 他 Saas との連携
 システムログデータ収集
 DataOps
 データの民主化
 コストの削減、効率化
 AWS, Google Cloud サービスの活用 
 学習・技術力の向上
 より多くのデータを活用できるように！
 データ運用を安定かつ効率的に！
 メンバーの技術力、スキルの向上を！！
 運用保守
 ユーザー支援
 HELP!!

64. We’re hiring!! 64
 カジュアル面談も大歓迎！
 AIドリブンカンパニーを共に作りたい方をお待ちしてます！
 ex.AIエンジニア、データエンジニア、
 データサイエンティスト、AIプロデューサー