AIドリブンカンパニー化に向けた組織の成長とデータ基盤の進化

by Yutaro Matsuo

Embed

Start on current slide

Slide 1

Slide 1 text

エン・ジャパン株式会社 AIテクノロジー室マネージャー松尾祐太郎 AIテクノロジー室データエンジニアチームリーダー濱田宏一 AIドリブンカンパニー化に向けた組織の成長とデータ基盤の進化

Slide 2

Slide 2 text

Slide 3

Slide 3 text

こんなことありませんか？ 3 AI活用したい。   なんとかして？   できる人いないっすよ。（わかりました）  

Slide 4

Slide 4 text

本日お伝えすること 4 エン・ジャパンがAI活用を「なんとかする」までの  試行錯誤をお伝えします  基盤課題  解決策  データ専門組織なし  AI人材不在  データ分析組織立ち上げから  AI組織へ拡張  データ一元管理  BI分析・AI開発ができる状態  データ基盤なし  組織基盤

Slide 5

Slide 5 text

1 エン・ジャパンについて 2 AIドリブンカンパニー化に向けた組織の成長 3 AIドリブンカンパニー化に向けたデータ基盤の進化 4 まとめ 5 目次

Slide 6

Slide 6 text

松尾祐太郎エン・ジャパン株式会社 AIテクノロジー室データサイエンス第1グループマネージャー - 2012年にエン・ジャパンに新卒入社 - 2019年にデータ分析の専門部署を立ち上げ - Tableau の認定資格「Tableau Data Saber」の保有者

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

注力する取り組み

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

AIに関する取り組み

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

02 AIドリブンカンパニー化に向けた組織の成長 SECTION 2 AIドリブンカンパニー化に向けた組織の成長

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© primeNumber.Inc AIドリブンカンパニーに向けてのステップデータ分析・活用  データ専門組織の  立ち上げ・拡大  データ元が分散  データ・AI活用  データ領域の  専門集団に変革  データ元が分散  競争優位となる  テクノロジーコアの創出  組織を格上げし  独立予算を獲得  データ一元管理  分析/AI用途に対応  Phase3 2024〜 Phase2 2022〜2023 Phase1 2018〜2021  組織ミッション基盤

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© primeNumber.Inc データ組織を立ち上げることができたポイント個人レベルでのスモールな  「データドリブンな意思決定」事例を上司にアピール効果検証  ABテストの結果を一覧参照できる仕組みの構築（Excel）     KPIモニタリング・要因分析  KPIの増減要因をグラフで可視化。増減の要因分析を毎日・毎週・毎月実施     課題分析  ファネル分析やなどのシンプルな分析で課題発見と改善策の提案

Slide 26

Slide 26 text

© primeNumber.Inc Phase1における具体的な取り組みうまくいった取り組み  失敗した取り組み  • 未経験人材の採用・戦力化  • 外部研修(primeNumberなど)  • 売上貢献施策への関与  • BIツールの導入（Tableau）  • DWHの導入（Redshift）  • 分析用データマートの構築  • データソースの拡張  • 専門人材育成プログラムの構築  • 「データ部門」化  • ダッシュボード文化構築  • 脱データ手動更新  • 脱「人間データAPI」  • ドキュメント整備・更新  組織基盤

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© primeNumber.Inc Phase2における具体的な取り組みうまくいった取り組み  失敗した取り組み  • AIリスキリングプログラム  • 専門職（AIE,DE）人材の採用  • 外部の各種勉強会・研修参加  • 資格取得支援  • ETLツール（TROCCO®）導入  • ダッシュボード文化の構築  • マルチクラウド（AWS+GCP）  • 既存AIロジックの改善  • データの民主化  • Auto MLやAIツールの導入  • BI・ETL環境の負荷分散  • データマートの乱立回避  組織基盤

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© primeNumber.Inc Phase2以前とPhase3の違い目的  人材  評価体制  カルチャー  基盤  Phase2（これまで） Phase3（今後）持続的イノベーション  破壊的イノベーション  ゼネラリスト  ゼネラリスト×スペシャリスト  能力＋成果  能力＋成果＋プロセス  やや中央集権型  自律分散ネットワーク型組織  データ分析用途がメイン  データ分析＋AI開発  組織に求められる形態が変化 

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

04 まとめ 02 AIドリブンカンパニー化に向けた組織の成長 SECTION 3 AIドリブンカンパニー化に向けたデータ基盤の進化

Slide 39

Slide 39 text

39 濵田宏一  エン・ジャパン株式会社 AI テクノロジー室  データサイエンスグループ第２    - 2023年4月にエン・ジャパンに入社。 - データ分析基盤の構築と運用保守を担当    

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© primeNumber.Inc これまでの流れ 2023/4 濵田入社  2024/7 AI テクノロジー室  発足  2023/10 Databricks 導入  2024/4 Databricks  利用開始  2023/8 DatabricksP oC  調査・現状把握・  サービス選定  TROCCO® やその他とのデータ連携作業  ユーザー利用  運用・保守  RDS 連携作業  PoC  導入対応  エンゲージ以外との  データ連携作業 

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© primeNumber.Inc データ分析基盤構築にあたっての課題使ってもらうにはどうするか？   • ユーザーのスキルにマッチした仕組みを導入する。   • 操作が直感的にわかって使いやすい。   • 作業工数を低減がわかりやすい。   • ハレーションを最小限にする説明。   • メリットをきっちりと説明。   必要な機能は何か？   • データソースに接続してデータを抽出、保存できる。   • データ分析ができる。   • AI、機械学習モデルの構築、検証、性能評価ができる。   運用保守は容易か？ • 初期は専任１名で対応が必要   • 開発と運用保守の兼任で対応が必要   • 障害もあるかもしれない。   データ管理 • データの保存場所、処理を行う場所は適切か？   • ユーザーごとに適切な権限を設定できるか？   • データに対する権限設定は容易か？   セキュリティ   • データ本体へのアクセスはできないようにしたい。   • インフラは隠蔽したい。   • ローカル環境でのデータ編集はできないようにしたい。   • ユーザーの操作やクエリー等のログは収集したい。   • IP アドレスによる接続フィルタも利用したい。   • 多要素認証にしたい。  

Slide 44

Slide 44 text

© primeNumber.Inc データ分析基盤構築にあたっての課題必要な機能   • データソースとの接続が容易  • データの抽出、編集、保存 • データ分析 • AI、機械学習モデルの開発、評価利用展開、推進   • ユーザーのスキルにマッチ  • サービスを使いやすい  • メリットや効果が説明しやすい  セキュリティ • データ本体、インフラを隠蔽 • 操作ログ等を自動収集 • 多要素認証 • IP アドレスフィルタ運用保守、データ管理 • 自社管理ストレージへの保存  • ユーザーごとに適切な権限設定 • 権限設定が容易 • サービス、グループ等でセグメント設定 • 少人数での運用保守、管理  下記がより多く実現できる仕組みを導入したい。 

Slide 45

Slide 45 text

Slide 46

Slide 46 text

© primeNumber.Inc ユーザー像データアナリスト、データサイエンティスト  ▍できること  • SQL で必要なデータを抽出。  • （Python での処理作成）  ▍対応が難しいこと • インフラの構築  • マシンスペックの選定  • 専門的なセキュリティ知識  機械学習エンジニア、AIエンジニア  ▍できること  • SQL で必要なデータを抽出  • Python での処理作成  • マシンスペックの選定  ▍対応が難しいこと  • インフラの構築  • 専門的なセキュリティ知識 

Slide 47

Slide 47 text

© primeNumber.Inc データ分析基盤を構築するのに、どのようなサービスを利用するかを考えました。  代表的なサービスと長所、短所   AWS ,Google Cloud Databricks,Snowflake TROCCO®,Tableau  長所  1. 自由度がとても高い。   1. 自由度が高い。   2. SQL , Python 等で処理を構築可能   3. インフラを意識する必要はない。   4. 一般的なセキュリティ意識があれば良い。     1. プログラミングの知識があまりなくても直感的に処理の構築や作業が可能   2. 稼働マシンの性能やインフラを意識する必要はない。  3. 一般的なセキュリティ意識があれば良い。   4. 運用保守が楽  短所  1. 専門性のある知識が必要   2. 直感的には操作が難しい。   3. 稼働マシンの性能を選定が必要   4. インフラの構築も必要   5. セキュリティ機能の知識   6. 権限やコストの管理が大変   1. 直感的には操作が難しい。   2. 稼働マシンの性能を選定が必要。   3. コストが大きい。   1. 自由度が低い。   2. AI開発をはじめ、できないことも多い。  

Slide 48

Slide 48 text

© primeNumber.Inc サービスの選定   AWS,  Google Cloud Databricks,  Snowflake TROCCO®,  Tableau prep  課題への対応  ◯ ◯ × データアナリスト  データサイエンティスト  × △ ◯ AIエンジニア  機械学習エンジニア  × ◯ ◯ 運用保守  × ◯ ◯ ユーザー像、サービスの長所と短所、サービス内容を検討して、Databricks を選定 

Slide 49

Slide 49 text

© primeNumber.Inc 導入 (2023年9月) Databricks の導入 ● 期間  – 2023年10月〜2024年3月 ● 用途  – 試用  – データソースとの接続 ● 費用  – 最小限  – クラスターの性能、数は最小限  ● 想定ユーザー数  – 6 名程度  PoC (2023年8月) 下記を実施して、見極め • ワークスペースの構築 • Notebook によるデータマート作成 • SQL エディタによるクエリの発行 • AutoML でのモデル構築 • Tableau Desktop との接続 • BigQuery との接続（ GA データ取り込み）

Slide 50

Slide 50 text

© primeNumber.Inc 導入後の状況必要な機能   • データソースとの接続が容易  • データの抽出、編集、保存 • データ分析 • AI、機械学習モデルの開発、評価セキュリティ • データ本体、インフラを隠蔽 • 操作ログ等を自動収集 • 多要素認証 • IP アドレスフィルタによるアクセス制限導入によって実現された内容について、説明します。  ○ 課題解決   • レイクハウスフェデレーション機能やパートナーコネクト   • Jupyter notebook、SQL エディタ   • ETLやAI開発用クラスター構築が容易ですぐに利用可能   • AutoML  ○ 課題解決   • ブラウザ上でのオペレーション   • １年分の監査ログ、クエリー履歴の保存   • SSO でのログイン  • IP アドレスフィルタ適用  

Slide 51

Slide 51 text

© primeNumber.Inc 導入後の状況利用展開、推進   • ユーザーのスキルにマッチ  • サービスを使いやすい  • メリットや効果が説明しやすい  運用保守、データ管理 • 自社管理ストレージへのデータ保存  • ユーザーごとに適切なデータの権限設定が可能 • データの権限設定が容易 • サービス、グループ等でセグメントを設定可能 • 少人数での運用保守、管理が可能  △ 改善を続ける必要あり   • サービスはとっつきにくい方と考えているので、サポートが必要。  • サンプルを提供しながら、Python と notebook に慣れていただく。 • メリット、効果を説明できるように実績を作る。   • エンゲージ以外のサービスにも導入してもらえるように実績を作る。  ○ 課題解決   • Unity Catalog • 自社契約 AWS アカウントの S3 にデータ保存   • ユーザー、グループレベルで権限設定が可能   • ワークスペースによるセグメントの設定   • 2024年7月までは 1 名、現在は２名で運用保守  

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

© primeNumber.Inc ISMS  今後、やっていきたいことあれもしたい！これもしたい！   面白そうなことをしたいけど、手が足りない！！   バックオフィスデータ連携  サービス横断したデータ活用環境構築  全サービスデータ集約  データガバナンス  CI/CD MLOps  Databricks Apps セキュリティ向上  他 Saas との連携  システムログデータ収集  DataOps  データの民主化  コストの削減、効率化  AWS, Google Cloud サービスの活用   学習・技術力の向上  より多くのデータを活用できるように！  データ運用を安定かつ効率的に！  メンバーの技術力、スキルの向上を！！  運用保守  ユーザー支援  HELP!! 

Slide 57

Slide 57 text

04 まとめ 02 AIドリブンカンパニー化に向けた組織の成長 SECTION 4 まとめ

Slide 58

Slide 58 text

本日お伝えすること 58 エン・ジャパンがAI活用を「なんとかする」までの  試行錯誤をお伝えします  基盤課題  解決策  データ専門組織なし  AI人材不在  データ分析組織立ち上げから  AI組織へ拡張  データ一元管理  BI分析・AI開発ができる状態  データ基盤なし  組織基盤

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

We’re hiring!! 64  カジュアル面談も大歓迎！  AIドリブンカンパニーを共に作りたい方をお待ちしてます！  ex.AIエンジニア、データエンジニア、  データサイエンティスト、AIプロデューサー 