Databricksで挑む！SEGAのデータ活用の次なる一歩

JEDAI 2025 新年会 Meetup! 発表資料
https://jedai.connpass.com/event/342295/

Transcript

1. Databricksで挑む！ SEGAのデータ活用の次なる一歩 移行プロジェクトと 未来への展望 株式会社セガ JA Studios 第２事業本部 戦略企画部 データエンジニアリングセクション 萬 和貴 ・ 槌屋 琢
2. 株式会社セガ JA Studios 第２事業本部 戦略企画部 データエンジニアリングセクション セクションマネージャー 萬 和貴
3. 登壇者紹介 データ基盤の課題と進化 Databricksで変わる組織の関わり 今後の展望
4. データ基盤の 課題と進化
5. 主なデータの種別 モバイルゲームのユーザー行動ログデータ rawデータサイズ PB(ペタバイト)クラス rawデータ蓄積量 1兆レコード超 （1 Trillion)
6. システムの大まかな構成 ※Apolloとは 社内の共通KPI ダッシュボード
7. DWH抜粋 ～進化前 raw data data mart Output BI tools +NPrinting Data Warehouse DataRobot Analysis & ML env Data Analyst Data Engineer
8. データ分析・AI活用における分析基盤の課題 環境課題：機械学習環境が統合されていない 運用課題：ビッグデータ活用の自由度が低い システム課題：Redshiftのリソース余り問題
9. ビジネスニーズへの適用 ①当時SEGAではグローバル化の波が急速に押し寄せていた ②アメリカやヨーロッパ事業所のデータ活用ニーズが発生 ③でも、データは Excel にしかない！ 英語ﾖｸﾜｶﾗﾅｲ 他拠点のデータを活用できるシステムが求められるように それを解決するソリューションが・・ データメッシュ！
10. DWH抜粋 ～進化後 raw data data mart Output BI tools +NPrinting DataRobot Data Engineer Data Analyst Create self table Analysis & ML env
11. DATA FEDERATION Snowflake
12. 実際に変えてみて データ基盤からデータHubへと進化 -フェデレーション対象は現在７つのシステムに -データ集約作業が不要、保持しないのでAWS S3コストも削減 スケーラビリティとパフォーマンスの向上 -集計所要時間は従来比50%、でもコスト比は70% アナリストの作業効率が大幅アップ -Notebookが便利すぎる -ジョブもメールもアナリスト任せ エンジニアは次のアクションへ
13. ・導入ステップや管理は玄人志向 要エンジニア ・パイプラインを構築すると値が張る 良くないところも一応
14. DATABRICKSで変わる 組織の関わり
15. 株式会社セガ JA Studios 第２事業本部 戦略企画部 データエンジニアリングセクション 槌屋 琢
16. Databricksを導入して組織の関わりがどう変わったのか 戦略企画部とは  データエンジニアリングセクション インフラ整備 データ集計処理作成 データマート作成  ビジネスアナリティクスセクション データ分析 テーブル設計 BIツールを使った可視化
17. 集計テーブル作成までのやりとり Databricks導入前 データエンジニア アナリスト • データ取得の相談 • テーブル設計 • 集計処理作成 • チェック その他色々……
18. 集計テーブル作成までのやりとり Databricks導入前 データエンジニア アナリスト • データ取得の相談 • テーブル設計 • 集計処理作成 • チェック その他色々…… やり取りが多数発生
19. 集計テーブル作成までのやりとり Databricks導入後 データエンジニア アナリスト 基本的なデータ集計はアナリストのみで完結 アナリスト 欲しい時に欲しいデータが作れる様に • 独自データマート作成 • jobによる定期集計実行 エンジニア • 基本KPI集計の実装 • 技術サポート • トレンドの調査 • 新機能の検証
20. アナリストだけで色々出来る様になった アナリスト • 独自テーブルの実装 Unity Catalogの利用により、独自テーブルを自 由に作成可能に • Jobを使った定期集計処理作成 数クリックで定期実行の設定が可能に • ダッシュボード作成 スケジュール設定による自動更新とチーム内へ 定期メール配信 • Jobを使った異常検知 閾値を超えた際にMS Teamsへ自動通知
21. Databricks導入 新たな問題も アナリストが自由に操作できる環境を提供 その結果、作業効率は飛躍的に向上したが 新たな課題や弊害も発生
22. Databricks導入 デメリット アナリスト よーし、すごいノート出来たからjobに設定しちゃお！ 毎朝9時 実行時間40時間 処理結果：エラー
23. Databricks導入 対策 Jobやクラスター使用状況の監視を強化 • 監視用ダッシュボード • アラートの設定 • クエリ履歴の監視 • 使用状況のヒアリング 勉強会の開催 • Databricksハンズオン • SQL講習 サンプルコードの拡充 • Pythonを使った集計 • 効率的なSQLの書き方
24. 現在の取り組み
25. Databricks環境のグループ内展開 ヨーロッパ グループ会社 マーケ ティング アナリスト ゲーム 運営担当 ゲーム 開発担当 デザイナー アナリストのみならず、 ゲームの運営・開発、 デザイナー、マーケなど 幅広いメンバーがアカウ ントを持ち、 Databricks環境を活用 さらに近年、 ヨーロッパにある グループ会社にも開放し 共同での開発を実施
26. Databricks Apps の活用 Databricksのコンソール画面を操作するのは難易度が高い・・・ そんな方に向けて、Databricks Appsによるデータ提供を開始
27. Databricks導入 将来的な取り組み -Genieによる対話型のKPIデータ抽出 -Databricksの機械学習モデル管理を使ったプロセスへ移行 技術面 ビジネス面 -社内に点在するデータの整理、リスト化 -将来的にはDatabricksを経由してそれらを利用可能に -国外拠点も巻き込んで、グループ全体で推進
28. Thank you for your attention.