Tweet
Tweet

Slide 1

Slide 1 text

Databricksで挑む！ SEGAのデータ活用の次なる一歩 移行プロジェクトと 未来への展望 株式会社セガ JA Studios 第２事業本部 戦略企画部 データエンジニアリングセクション 萬 和貴 ・ 槌屋 琢

Slide 2

Slide 2 text

株式会社セガ JA Studios 第２事業本部 戦略企画部 データエンジニアリングセクション セクションマネージャー 萬 和貴

Slide 3

Slide 3 text

登壇者紹介 データ基盤の課題と進化 Databricksで変わる組織の関わり 今後の展望

Slide 4

Slide 4 text

データ基盤の 課題と進化

Slide 5

Slide 5 text

主なデータの種別 モバイルゲームのユーザー行動ログデータ rawデータサイズ PB(ペタバイト)クラス rawデータ蓄積量 1兆レコード超 （1 Trillion)

Slide 6

Slide 6 text

システムの大まかな構成 ※Apolloとは 社内の共通KPI ダッシュボード

Slide 7

Slide 7 text

DWH抜粋 ～進化前 raw data data mart Output BI tools +NPrinting Data Warehouse DataRobot Analysis & ML env Data Analyst Data Engineer

Slide 8

Slide 8 text

データ分析・AI活用における分析基盤の課題 環境課題：機械学習環境が統合されていない 運用課題：ビッグデータ活用の自由度が低い システム課題：Redshiftのリソース余り問題

Slide 9

Slide 9 text

ビジネスニーズへの適用 ①当時SEGAではグローバル化の波が急速に押し寄せていた ②アメリカやヨーロッパ事業所のデータ活用ニーズが発生 ③でも、データは Excel にしかない！ 英語ﾖｸﾜｶﾗﾅｲ 他拠点のデータを活用できるシステムが求められるように それを解決するソリューションが・・ データメッシュ！

Slide 10

Slide 10 text

DWH抜粋 ～進化後 raw data data mart Output BI tools +NPrinting DataRobot Data Engineer Data Analyst Create self table Analysis & ML env

Slide 11

Slide 11 text

DATA FEDERATION Snowflake

Slide 12

Slide 12 text

実際に変えてみて データ基盤からデータHubへと進化 -フェデレーション対象は現在７つのシステムに -データ集約作業が不要、保持しないのでAWS S3コストも削減 スケーラビリティとパフォーマンスの向上 -集計所要時間は従来比50%、でもコスト比は70% アナリストの作業効率が大幅アップ -Notebookが便利すぎる -ジョブもメールもアナリスト任せ エンジニアは次のアクションへ

Slide 13

Slide 13 text

・導入ステップや管理は玄人志向 要エンジニア ・パイプラインを構築すると値が張る 良くないところも一応

Slide 14

Slide 14 text

DATABRICKSで変わる 組織の関わり

Slide 15

Slide 15 text

株式会社セガ JA Studios 第２事業本部 戦略企画部 データエンジニアリングセクション 槌屋 琢

Slide 16

Slide 16 text

Databricksを導入して組織の関わりがどう変わったのか 戦略企画部とは  データエンジニアリングセクション インフラ整備 データ集計処理作成 データマート作成  ビジネスアナリティクスセクション データ分析 テーブル設計 BIツールを使った可視化

Slide 17

Slide 17 text

集計テーブル作成までのやりとり Databricks導入前 データエンジニア アナリスト • データ取得の相談 • テーブル設計 • 集計処理作成 • チェック その他色々……

Slide 18

Slide 18 text

集計テーブル作成までのやりとり Databricks導入前 データエンジニア アナリスト • データ取得の相談 • テーブル設計 • 集計処理作成 • チェック その他色々…… やり取りが多数発生

Slide 19

Slide 19 text

集計テーブル作成までのやりとり Databricks導入後 データエンジニア アナリスト 基本的なデータ集計はアナリストのみで完結 アナリスト 欲しい時に欲しいデータが作れる様に • 独自データマート作成 • jobによる定期集計実行 エンジニア • 基本KPI集計の実装 • 技術サポート • トレンドの調査 • 新機能の検証

Slide 20

Slide 20 text

アナリストだけで色々出来る様になった アナリスト • 独自テーブルの実装 Unity Catalogの利用により、独自テーブルを自 由に作成可能に • Jobを使った定期集計処理作成 数クリックで定期実行の設定が可能に • ダッシュボード作成 スケジュール設定による自動更新とチーム内へ 定期メール配信 • Jobを使った異常検知 閾値を超えた際にMS Teamsへ自動通知

Slide 21

Slide 21 text

Databricks導入 新たな問題も アナリストが自由に操作できる環境を提供 その結果、作業効率は飛躍的に向上したが 新たな課題や弊害も発生

Slide 22

Slide 22 text

Databricks導入 デメリット アナリスト よーし、すごいノート出来たからjobに設定しちゃお！ 毎朝9時 実行時間40時間 処理結果：エラー

Slide 23

Slide 23 text

Databricks導入 対策 Jobやクラスター使用状況の監視を強化 • 監視用ダッシュボード • アラートの設定 • クエリ履歴の監視 • 使用状況のヒアリング 勉強会の開催 • Databricksハンズオン • SQL講習 サンプルコードの拡充 • Pythonを使った集計 • 効率的なSQLの書き方

Slide 24

Slide 24 text

現在の取り組み

Slide 25

Slide 25 text

Databricks環境のグループ内展開 ヨーロッパ グループ会社 マーケ ティング アナリスト ゲーム 運営担当 ゲーム 開発担当 デザイナー アナリストのみならず、 ゲームの運営・開発、 デザイナー、マーケなど 幅広いメンバーがアカウ ントを持ち、 Databricks環境を活用 さらに近年、 ヨーロッパにある グループ会社にも開放し 共同での開発を実施

Slide 26

Slide 26 text

Databricks Apps の活用 Databricksのコンソール画面を操作するのは難易度が高い・・・ そんな方に向けて、Databricks Appsによるデータ提供を開始

Slide 27

Slide 27 text

Databricks導入 将来的な取り組み -Genieによる対話型のKPIデータ抽出 -Databricksの機械学習モデル管理を使ったプロセスへ移行 技術面 ビジネス面 -社内に点在するデータの整理、リスト化 -将来的にはDatabricksを経由してそれらを利用可能に -国外拠点も巻き込んで、グループ全体で推進

Slide 28

Slide 28 text

Thank you for your attention.