Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと

tetsuroito
September 16, 2020

Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと

tetsuroito

September 16, 2020
Tweet

More Decks by tetsuroito

Other Decks in Technology

Transcript

  1. • 名前:伊藤 徹郎 (@tetsuroito) • 分野:Educational Technology , Learning Analytics

    • 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Data Pipeline Casual Talk ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など 自己紹介
  2. • データが天気予報のように活用され ている状況 • ユーザーは外出時の意思決定に利 用している • 定刻にデータを生成し、必要に応じ て加工・集計・分析し、提供している 引用:ウェザーニューズ

    私の考える理想状態の一つは天気予報 天気予報のように 分析基盤やダッシュボードを 組織内のどの程度の人たちが 活用できている状態を目指すのか
  3. • 組織のデータ利用者数の把握 • クエリと用途の把握 • 利用の多いテーブルの傾向 • 部署別の利用状況の可視化 • 利用状況のKPI

    ◦ 何を持って浸透したとするか • 組織サーベイ 診断 ~今の組織のデータ利用状況は?~ 出典:「メルカリにおける分析環境整備の取り組み」より
  4. • データ利用で価値を最大化させて いるユースケースを特定 • 成功事例を転用していく • 部署・役割によりその価値は様々な ので、応じた形で • 優先順位づけ

    基本方針 ~価値を最大化させていく~ 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
  5. • Modelで処理を共通化 • Viewで個別のユースケースへ • Viewによるツールは利用者にあっ たものに順次対応 • 品質における担保も行う 行動

    ~データ分析基盤でサポート~ 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
  6. データ DAMAデータマネジメントフレームワーク データマネジメント ライフサイクル管理 データガバナンス アクティビティ 戦略 データ評 価 原則と倫

    理 ポリシー スチュ ワード 文化の変革 リスク管理:セキュリティ、プライバシー、コンプライアンス メタデータ管理 データ品質管理 計画と設計 利用と強化 実装と維持 アーキテク チャ データとモ デリングと デザイン オペレー ション DWH データ統 合と相互 運用性 マスタデー タ管理 データスト レージ 参照デー タ管理 BI データサイ エンス マスタ データの 利用 データ収 益化 予測分析 ドキュメ ント コンテン ツ管理
  7. データ DAMAデータマネジメントフレームワーク データマネジメント ライフサイクル管理 データガバナンス アクティビティ 戦略 データ評 価 原則と倫

    理 ポリシー スチュ ワード 文化の変革 リスク管理:セキュリティ、プライバシー、コンプライアンス メタデータ管理 データ品質管理 計画と設計 利用と強化 実装と維持 アーキテク チャ データとモ デリングと デザイン オペレー ション DWH データ統 合と相互 運用性 マスタデー タ管理 データスト レージ 参照デー タ管理 BI データサイ エンス マスタ データの 利用 データ収 益化 予測分析 ドキュメ ント コンテン ツ管理 これまで話されてきた内容 (狭義の機能要件) 分析基盤が組織に浸透する と検討が必要になる内容 (狭義の非機能要件)
  8. • 利用者が増加してくると多種多様なニーズ対応が必要 ◦ SoR(System of Records)からSoE(System of Engagement)へ ◦ 正しいものを正しく作る

    • 開発(Dev)だけでなく、Ops(運用)の観点が重要に ◦ Data + DevOps → DataOps • 利用実態に見合った開発組織体制になっているか ◦ 予算、人員、権限、技術 (スパン・オブ・コントロール) データ分析基盤が浸透していくと