日経が挑戦するデータ民主化 ~ セルフサービス基盤がもたらす利点と苦悩~/nikkei-tech-talk-37

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 2 自己紹介しょうじ　たけひろ東海林　岳寛株式会社日本経済新聞社データテクノロジストプラットフォーム推進室データインテリジェンスグループ (DIG)Atlas チーム - 2024年入社 - データエンジニアリング(ETL基盤開発) - 大学時代 - 統計の勉強 - 最近の趣味 - 体を動かすこと（ランニング、バトミントン）

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. - 様々なデータを収集、拡張、蓄積し、分析可視化および施策実行するための基盤 - 日経電子版をはじめとした各種サービス上のお客様の行動ログデータを中心に扱う日経のデータ基盤 Atlas 5 データ連携各種日経サービス日経内部システム（会員、課金契約等) 外部システム (SaaS 等) 収集会員属性/契約コンテンツ行動ログサービス固有日経IDを軸とした顧客関連データ蓄積提供 Atlas データ計測データ拡張 Atlas外データ提供広告配信分析レコメンド

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. データの民主化とは〜目指すべき姿〜 8 よくない姿民主化の姿（第一段階）目指すべきの民主化の姿事業部A 事業部C 事業部D 事業部B 私たちの部門事業部A 事業部C 事業部D 事業部B 事業部A 事業部C 事業部D 事業部B ・データが各所でバラバラ・管理が属人化・データを私たちの部門が　まとめて管理・伴走してデータ連携・データや権限の管理を移譲・セルフサービス化で各事業部が自走してデータ活用 CoE 専任専任専任専任伝導伝導目指すべきの民主化の姿

Slide 9

Slide 9 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. - 日経の事業に関わる全ての事業部、職種を対象とし全社的にデータドリブンな組織に - 電子版のみならず、人材文化事業やグローバル事業などまで対象データ民主化の対象とは？ 9 記者広告担当自分の記事がどれくらい読まれた? 広告のインプレッションは？エンジニア新機能のA/B テストの結果は？マーケター今回の施策の KPI達成度は？

Slide 10

Slide 10 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. - 人とデータの両面が歩み寄ることで真のデータ民主化が達成されるふたつの方向からの民主化アプローチ 10 人々がデータに歩み寄る(ソフト) データが人々に歩み寄る(ハード) リテラシー向上データサイエンス活用スケーラブルな基盤データドリブン化真の民主化使いやすい BI 基盤セルフサービス化セルフサービス化

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. - 今回はメインのDWH であるBigQuery 周辺の紹介何をセルフサービス化しているのか 12 各種日経サービス日経内部システム（会員、課金契約等) 外部システム (SaaS 等) BigQuery Cloud Dataﬂow バッチ基盤リアルタイム基盤 Cloud Run Dataform リアルタイム基盤とバッチ基盤の前段にCloudStorage やPub/Sub があるが省略データ分析可視化基盤 Atlas データ利活用データソースデータの取り込みもセルフサービス共通のエンドポイントにデータを送る Schedule Query

Slide 13

Slide 13 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. - 今回はメインのDWH であるBigQuery 周辺の紹介何をセルフサービス化しているのか 13 各種日経サービス日経内部システム（会員、課金契約等) 外部システム (SaaS 等) BigQuery Cloud Dataﬂow バッチ基盤リアルタイム基盤 Cloud Run Dataform リアルタイム基盤とバッチ基盤の前段にCloudStorage やPub/Sub があるが省略データ分析可視化基盤 Atlas データ利活用データソース Schedule Query データの取り込みもセルフサービス共通のエンドポイントにデータを送る

Slide 14

Slide 14 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. - データの民主化を実現するために、「利用者自身が拡張可能なデータ基盤」 - 利用者が基盤を改善拡張できることで、必要機能を自ら構築可能となり、データ民主化を促進セルフサービスの仕組み（データ連携） 14 PR 作成 Review Merge Apply User の役割エンジニアの役割 BigQuery Table/ View/ MView Dataset Schedule Query Dataform SQLX IAM IAM Bindings Air ow DAG

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. BIツールの比較 16 アカウント数 1500 70 600 社内的特徴即席分析のから使える保存まで GUIでリアルタイムログを可視化学習コスト SQLほぼ必須必須に応じてクエリもかける SQL 不要なノーコード機能充実見せるためのデータ残すためのダッシュボード・単発の分析やクエリ・長期保存ダッシュボード・行動ログの可視化単純な可視化試行錯誤の余地小可視化の表現力ログ特化の可視化リッチな表現

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. セルフサービス化促進のための工夫 18 一元管理されたドキュメント CI/CD の活用充実したテンプレート・GitHub Actions を活用・Test, Lint, Deploy自動化・Airflow はマージ前に　ユーザー自身で検証環境へ　デプロイ可能・セルフドキュメント基盤・Terraform のスキーマ情報　からドキュメント自動生成　（詳細はTech Talk #2 へ）・データソースや書き込み先　に応じた50超のテンプレ・手順書もユーザ主導で進化データ利活用の障壁を下げ、データの民主化、事業部での自走を促進

Slide 19

Slide 19 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. セルフサービス基盤の利点と見えてきた副作用 19 持続性俊敏性自立性利用者が独自に改善し、その成果が全体に波及チケット待ちなしで素早く開発・実験利用者が増えても運用負担は直線的に増えない基盤の強化に集中できる！エンジニアに頼まず自分で目的達成できた他事業部が使っている新機能試してみる！エンジニアにとっての副作用テーブルやジョブの中身の詳細の把握が困難にスキャン量の多いクエリや Terraform State の肥大化で定期棚卸しの重要性増加利用者にとっての副作用エンジニアにとっての副作用各チームが独自に機能検証、独自のルールで実装命名規則、放置クエリ、責任者不明などガバナンスに課題 SQL やPython などの初期の学習コスト、セルフメンテナンスの必要エンジニアへの依存は解決したものの、事業部内でデータ利活用が属人化することも

Slide 20

Slide 20 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● ドメイン知識がない場合も ○ ドメイン知識がなく、既存ジョブとの関係がわからずレビューが大変、使われているのかの判断ができず、棚卸しするにできない ● 気付いたら tmp/hoge/test が氾濫 ○ ユーザクエリを資産として活用したいが、一時用のはずが大量に残って、どれが資産なのか判断できない… ● AI の浸透でコード品質が ○ コード生成AI の台頭で、生成AI によるコードも増加。からなずしもチームのコーディングルールにそっていないものもデータエンジニアの人生はバラ色ではない 20

Slide 21

Slide 21 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. セルフサービス基盤の未来 21 苦悩01 ドメイン知識がない.... 苦悩02 AI の浸透で品質が.... 苦悩03 協力が得られない.... 苦悩04 tmp/hoge/tes t が氾濫... ルールや運用方法で解決していく！データ管理者を各事業部にコーディングルール作成システム的なガード作成 AIによるレビュー人はロジックレビュールールベース自動棚卸リポジトリで統一のコーディングルール一部レビューを移譲

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 今日のまとめ 23 1. エンジニアに閉じないセルフサービス基盤 - 編集や広告、マーケなど様々な事業部のデータをセルフサービスのデータ基盤で運用 - 各事業部が自走して、データ活用をすることで組織横断でデータ活用 2. データ民主化を促進する仕組み作り - 専門知識がなくても使えるように、ニーズに応じたサービスを用意 - テンプレートやCI/CD の活用 3. データ民主化の次ステージ - セルフサービス基盤よって「持続性、俊敏性、自立性」などの利点 - 利用者の増加にこれまで見えてこなかった苦悩も発生 - 新しい仕組みや運用ルールで改善を模索

Slide 24

Slide 24 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 開発環境一緒にデータ基盤の改良・運用、データ利活用を推進する仲間を募集しています！ - コーディングが得意な方も、インフラ管理が得意な方も、プロマネが得意な方もぜひ！おわりに 24 日経データエンジニアの技術スタック言語 Database 分析ツール Infrastructure Python Go Node.js TypeScript Rust Java Google Cloud AWS Fastly Compute Redash Superset Kibana Jupyterhub GitHub GitHub Actions Notion Qiita Team BigQuery Elasticsearch SingleStore Redshift MySQL Postgres HCP Terraform