Share
Embed
AIドリブンカンパニー化に向けた 組織の成長とデータ基盤の進化
primeNumber社主催のカンファレンス、01(zeroONE)2024での登壇資料です。
https://primenumber.com/01/2024/timetable/V-4
【概要】
HRサービスを展開するエン・ジャパンでは近年、データ分析専門組織の立ち上げと強化を重ね、2024年7月には「AIテクノロジー室」を発足しました。データ基盤も専門人材も不在の状況から紆余曲折を経て、プロダクト横断のデータ集約やAIアルゴリズムの開発までを担う組織に進化を遂げています。
本セッションでは、今に至るまでの課題解決プロセスを「組織の成長」と「データ基盤の進化」の2つの観点から振り返り、AIドリブンな企業を実現するための要点について議論します。
Yutaro Matsuo
December 26, 2024
Transcript
64 slides
-
© primeNumber.Inc 松尾 祐太郎 エン・ジャパン株式会社 AIテクノロジー室 データサイエンス第1グループ マネージャー 濵田 宏一
エン・ジャパン株式会社 AIテクノロジー室 データサイエンス第2グループ データエンジニアチームリーダー -
本日お伝えすること 4 エン・ジャパンがAI活用を「なんとかする」までの 試行錯誤をお伝えします 基盤 課題 解決策 データ専門組織なし AI人材不在 データ分析組織立ち上げから
AI組織へ拡張 データ一元管理 BI分析・AI開発ができる状態 データ基盤なし 組織 基盤 -
松尾 祐太郎 エン・ジャパン株式会社 AIテクノロジー室 データサイエンス第1グループ マネージャー - 2012年にエン・ジャパンに新卒入社 - 2019年にデータ分析の専門部署を立ち上げ
- Tableau の認定資格「Tableau Data Saber」の保有者 -
© primeNumber.Inc 設立 2000年 設立24年目 売上高 676億円 2024年3月期実績 社員数 3,317名
2024年3月末現在 海外展開 ベトナム インドなど プロダクト数 20以上 上場区分 東証プライム 会社概要 -
© primeNumber.Inc 今年7月に発足したAI専門部署 AIテクノロジー室について データ分析 ビッグデータ分析をもとにしたプロダクトの 問題分析・課題発見 データ取得・蓄積 各プロダクトの募集〜採用、入社後の定着・活躍 までのデータを一箇所に集約
AIアルゴリズムの研究開発 AI技術の研究・独自のアルゴリズム開発 ▍ミッション -
© primeNumber.Inc 『ミドルの転職』にGPT ツールを用いた職務要約 の自動生成機能を搭載 離職予防ツール 『HR OnBoard』に AIによるフリーコメント自 動判定システムを導入
独自のAI技術により 商談を解析・可視化する 『エンSX セールスアナリ ティクス』を提供 AI組織立ち上げ以前から様々な取り組みを推進 エン・ジャパンの AI活用事例 -
© primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用 データ専門組織の 立ち上げ・拡大 データ元が分散 データ・AI活用 データ領域の 専門集団に変革
データ元が分散 競争優位となる テクノロジーコアの創 出 組織を格上げし 独立予算を獲得 データ一元管理 分析/AI用途に対応 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021 組織 ミッション 基盤 -
© primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用 データ専門組織の 立ち上げ・拡大 データ元が分散 データ・AI活用 データ領域の 専門集団に変革
データ元が分散 競争優位となる テクノロジーコアの創 出 組織を格上げし 独立予算を獲得 データ一元管理 分析/AI用途に対応 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021 組織 ミッション 基盤 -
© primeNumber.Inc データ組織を立ち上げることができたポイント 個人レベルでのスモールな 「データドリブンな意思決定」事例を上司にアピール 効果検証 ABテストの結果を一覧参照できる仕組みの構築(Excel) KPIモニタリング・要因分析
KPIの増減要因をグラフで可視化。増減の要因分析を毎日・毎週・毎月実施 課題分析 ファネル分析やなどのシンプルな分析で課題発見と改善策の提案 -
© primeNumber.Inc Phase1における具体的な取り組み うまくいった取り組み 失敗した取り組み • 未経験人材の採用・戦力化 • 外部研修(primeNumberなど) •
売上貢献施策への関与 • BIツールの導入(Tableau) • DWHの導入(Redshift) • 分析用データマートの構築 • データソースの拡張 • 専門人材育成プログラムの構築 • 「データ部門」化 • ダッシュボード文化構築 • 脱データ手動更新 • 脱「人間データAPI」 • ドキュメント整備・更新 組織 基盤 -
© primeNumber.Inc Phase1(2018〜2021)の結果 課題 解決策 データ専門組織なし データ活用人材不在 データ分析の専門組織立ち上げ データで意思決定ができる 未経験人材を採用・育成
DWHに分析用データを格納 BIツール(Tableau)を活用 Misson データ分析・活用の推進 データ基盤なし SQL以外の接続環境なし 組織 基盤 -
© primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用 データ専門組織の 立ち上げ・拡大 データ元が分散 データ・AI活用 データ領域の 専門集団に変革
データ元が分散 競争優位となる テクノロジーコアの創 出 組織を格上げし 独立予算を獲得 データ一元管理 分析/AI用途に対応 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021 組織 ミッション 基盤 -
© primeNumber.Inc データアナリスト組織が AI活用ミッションを担った理由 AIを学び、活用し たい人材が 複数存在
グループ内に データを扱う ナレッジが蓄積 競争優位性獲得 のために AI活用がマスト MUST CAN WILL -
© primeNumber.Inc Phase2における具体的な取り組み うまくいった取り組み 失敗した取り組み • AIリスキリングプログラム • 専門職(AIE,DE)人材の採用 •
外部の各種勉強会・研修参加 • 資格取得支援 • ETLツール(TROCCO®)導入 • ダッシュボード文化の構築 • マルチクラウド(AWS+GCP) • 既存AIロジックの改善 • データの民主化 • Auto MLやAIツールの導入 • BI・ETL環境の負荷分散 • データマートの乱立回避 組織 基盤 -
© primeNumber.Inc Phase2(2022〜2023)の結果 課題 解決策 AI活用人材不在 既存人材の育成+ 専門人材の採用 ETL整備 (TROCCO®+Tableau
Prep) ローカル環境でのAI開発 Misson プロダクトへのデータ活用・AI活用 分析タスクの大量発生 AIモデル構築ニーズへの対応 組織 基盤 -
© primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用 データ専門組織の 立ち上げ・拡大 データ元が分散 データ・AI活用 データ領域の 専門集団に変革
データ元が分散 競争優位となる テクノロジーコアの創 出 組織を格上げし 独立予算を獲得 データ一元管理 分析/AI用途に対応 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021 組織 ミッション 基盤 -
© primeNumber.Inc Phase2以前とPhase3の違い 目的 人材 評価体制 カルチャー 基盤 Phase2(これまで) Phase3(今後)
持続的イノベーション 破壊的イノベーション ゼネラリスト ゼネラリスト×スペシャリスト 能力+成果 能力+成果+プロセス やや中央集権型 自律分散ネットワーク型組織 データ分析用途がメイン データ分析+AI開発 組織に求められる形態が変化 -
© primeNumber.Inc Phase3(2024〜今後) 課題 解決策 AI開発・基盤開発人材の不足 独自技術蓄積の不足 独立組織の立ち上げ / 採用強化
R&Dの推進 AI開発を見据えた データ分析基盤の立ち上げ (詳細はパート03で) Misson 競争優位となるようなテクノロジーコアの創出 AIモデル構築ニーズへの対応 BIツール側でのETL負荷増加 組織 基盤 -
© primeNumber.Inc Phase3(2024〜今後) 課題 解決策 AI開発・基盤開発人材の不足 独自技術蓄積の不足 独立組織の立ち上げ / 採用強化
R&Dの推進 AI開発を見据えた データ分析基盤の立ち上げ (詳細はパート03で) Misson 競争優位となるようなテクノロジーコアの創出 AIモデル構築ニーズへの対応 BIツール側でのETL負荷増加 組織 基盤 -
39 濵田 宏一 エン・ジャパン株式会社 AI テクノロジー室 データサイエンスグループ第2 - 2023年4月にエン・ジャパンに入社。
- データ分析基盤の構築と運用保守を担当 -
© primeNumber.Inc これまでの流れ 2023/4 濵田入社 2024/7 AI テクノロジー室 発足 2023/10
Databricks 導入 2024/4 Databricks 利用開始 2023/8 DatabricksP oC 調査・現状把握・ サービス選定 TROCCO® やその他とのデータ連携作業 ユーザー利用 運用・保守 RDS 連携作業 PoC 導入対応 エンゲージ以外との データ連携作業 -
© primeNumber.Inc データ分析基盤構築にあたっての課題 必要なデータをすぐに利用できる そのデータを使って AI 開発ができる
環境を作りたい!! データ分析基盤を作る上で考えたことは -
© primeNumber.Inc データ分析基盤構築にあたっての課題 使ってもらうにはどうするか? • ユーザーのスキルにマッチした仕組みを導入する。 • 操作が直感的にわかって使いやすい。
• 作業工数を低減がわかりやすい。 • ハレーションを最小限にする説明。 • メリットをきっちりと説明。 必要な機能は何か? • データソースに接続してデータを抽出、保存できる。 • データ分析ができる。 • AI、機械学習モデルの構築、検証、性能評価ができる。 運用保守は容易か? • 初期は専任1名で対応が必要 • 開発と運用保守の兼任で対応が必要 • 障害もあるかもしれない。 データ管理 • データの保存場所、処理を行う場所は適切か? • ユーザーごとに適切な権限を設定できるか? • データに対する権限設定は容易か? セキュリティ • データ本体へのアクセスはできないようにしたい。 • インフラは隠蔽したい。 • ローカル環境でのデータ編集はできないようにしたい。 • ユーザーの操作やクエリー等のログは収集したい。 • IP アドレスによる接続フィルタも利用したい。 • 多要素認証にしたい。 -
© primeNumber.Inc データ分析基盤構築にあたっての課題 必要な機能 • データソースとの接続が容易 • データの抽出、編集、保存 •
データ分析 • AI、機械学習モデルの開発、評価 利用展開、推進 • ユーザーのスキルにマッチ • サービスを使いやすい • メリットや効果が説明しやすい セキュリティ • データ本体、インフラを隠蔽 • 操作ログ等を自動収集 • 多要素認証 • IP アドレスフィルタ 運用保守、データ管理 • 自社管理ストレージへの保存 • ユーザーごとに適切な権限設定 • 権限設定が容易 • サービス、グループ等でセグメント設定 • 少人数での運用保守、管理 下記がより多く実現できる仕組みを導入したい。 -
© primeNumber.Inc ユーザー像 データ ソース データ分析基盤 データアナリスト データサイエンティスト 機械学習エンジニア AI
エンジニア データ ユーザー像を考えました。 -
© primeNumber.Inc ユーザー像 データアナリスト、データサイエンティスト ▍できること • SQL で必要なデータを抽出。 • (Python
での処理作成) ▍対応が難しいこと • インフラの構築 • マシンスペックの選定 • 専門的なセキュリティ知識 機械学習エンジニア、AIエンジニア ▍できること • SQL で必要なデータを抽出 • Python での処理作成 • マシンスペックの選定 ▍対応が難しいこと • インフラの構築 • 専門的なセキュリティ知識 -
© primeNumber.Inc データ分析基盤を構築するのに、どのようなサービスを利用するかを考えました。 代表的なサービスと長所、短所 AWS ,Google Cloud Databricks,Snowflake TROCCO®,Tableau
長 所 1. 自由度がとても高い。 1. 自由度が高い。 2. SQL , Python 等で処理を構築可能 3. インフラを意識する必要はない。 4. 一般的なセキュリティ意識があれば良い。 1. プログラミングの知識があまりなくても直感的 に処理の構築や作業が可能 2. 稼働マシンの性能やインフラを意識する必要 はない。 3. 一般的なセキュリティ意識があれば良い。 4. 運用保守が楽 短 所 1. 専門性のある知識が必要 2. 直感的には操作が難しい。 3. 稼働マシンの性能を選定が必要 4. インフラの構築も必要 5. セキュリティ機能の知識 6. 権限やコストの管理が大変 1. 直感的には操作が難しい。 2. 稼働マシンの性能を選定が必要。 3. コストが大きい。 1. 自由度が低い。 2. AI開発をはじめ、できないことも多い。 -
© primeNumber.Inc サービスの選定 AWS, Google Cloud Databricks, Snowflake TROCCO®,
Tableau prep 課題への対応 ◯ ◯ × データアナリスト データサイエンティスト × △ ◯ AIエンジニア 機械学習エンジニア × ◯ ◯ 運用保守 × ◯ ◯ ユーザー像、サービスの長所と短所、サービス内容を検討して、Databricks を選定 -
© primeNumber.Inc 導入 (2023年9月) Databricks の導入 • 期間 – 2023年10月〜2024年3月
• 用途 – 試用 – データソースとの接続 • 費用 – 最小限 – クラスターの性能、数は最小限 • 想定ユーザー数 – 6 名程度 PoC (2023年8月) 下記を実施して、見極め • ワークスペースの構築 • Notebook によるデータマート作成 • SQL エディタによるクエリの発行 • AutoML でのモデル構築 • Tableau Desktop との接続 • BigQuery との接続( GA データ取り込み) -
© primeNumber.Inc 導入後の状況 必要な機能 • データソースとの接続が容易 • データの抽出、編集、保存 •
データ分析 • AI、機械学習モデルの開発、評価 セキュリティ • データ本体、インフラを隠蔽 • 操作ログ等を自動収集 • 多要素認証 • IP アドレスフィルタによるアクセス制限 導入によって実現された内容について、説明します。 ◦ 課題解決 • レイクハウスフェデレーション機能やパートナーコネクト • Jupyter notebook、SQL エディタ • ETLやAI開発用クラスター構築が容易ですぐに利用可能 • AutoML ◦ 課題解決 • ブラウザ上でのオペレーション • 1年分の監査ログ、クエリー履歴の保存 • SSO でのログイン • IP アドレスフィルタ適用 -
© primeNumber.Inc 導入後の状況 利用展開、推進 • ユーザーのスキルにマッチ • サービスを使いやすい •
メリットや効果が説明しやすい 運用保守、データ管理 • 自社管理ストレージへのデータ保存 • ユーザーごとに適切なデータの権限設定が可能 • データの権限設定が容易 • サービス、グループ等でセグメントを設定可能 • 少人数での運用保守、管理が可能 △ 改善を続ける必要あり • サービスはとっつきにくい方と考えているので、サポートが 必要。 • サンプルを提供しながら、Python と notebook に慣れてい ただく。 • メリット、効果を説明できるように実績を作る。 • エンゲージ以 外のサービスにも導 入してもらえるように実 績を作る。 ◦ 課題解決 • Unity Catalog • 自社契約 AWS アカウントの S3 にデータ保存 • ユーザー、グループレベルで権限設定が可能 • ワークスペースによるセグメントの設定 • 2024年7月までは 1 名、現在は2名で運用保守 -
© primeNumber.Inc 主なデータ分析の流れ 分析・可視化 ノートブックで ETL 処理を作成 ワークフローでデータ加工フローと スケジュールを設定 データマート作成
Tableau Desktop から Databricks に接続してデータを参照 Tableau Desktop でデータ分析、可視化 データ参照 データマート フロー作成 ETL処理作成 -
© primeNumber.Inc ISMS 今後、やっていきたいこと あれもしたい!これもしたい! 面白そうなことをしたいけど、手が足りない!! バックオフィスデータ連携 サービス横断したデータ活用環境構築
全サービスデータ集約 データガバナンス CI/CD MLOps Databricks Apps セキュリティ向上 他 Saas との連携 システムログデータ収集 DataOps データの民主化 コストの削減、効率化 AWS, Google Cloud サービスの活用 学習・技術力の向上 より多くのデータを活用できるように! データ運用を安定かつ効率的に! メンバーの技術力、スキルの向上を!! 運用保守 ユーザー支援 HELP!! -
本日お伝えすること 58 エン・ジャパンがAI活用を「なんとかする」までの 試行錯誤をお伝えします 基盤 課題 解決策 データ専門組織なし AI人材不在 データ分析組織立ち上げから
AI組織へ拡張 データ一元管理 BI分析・AI開発ができる状態 データ基盤なし 組織 基盤 -
© primeNumber.Inc AIドリブンカンパニーに向けてのステップ データ分析・活用 データ専門組織の 立ち上げ・拡大 データ元が分散 データ・AI活用 データ領域の 専門集団に変革
データ元が分散 競争優位となる テクノロジーコアの創 出 組織を格上げし 独立予算を獲得 データ一元管理 分析/AI用途に対応 Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021 組織 ミッション 基盤 -
© primeNumber.Inc ISMS 今後、やっていきたいこと あれもしたい!これもしたい! 面白そうなことをしたいけど、手が足りない!! バックオフィスデータ連携 サービス横断したデータ活用環境構築
全サービスデータ集約 データガバナンス CI/CD MLOps Databricks Apps セキュリティ向上 他 Saas との連携 システムログデータ収集 DataOps データの民主化 コストの削減、効率化 AWS, Google Cloud サービスの活用 学習・技術力の向上 より多くのデータを活用できるように! データ運用を安定かつ効率的に! メンバーの技術力、スキルの向上を!! 運用保守 ユーザー支援 HELP!!