Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
Search
tetsuroito
September 16, 2020
Technology
5.3k
4
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
September 16, 2020
More Decks by tetsuroito
See All by tetsuroito
白金鉱業meetup発表資料
tetsuroito
1
440
Data Engineering Study#30 LT資料
tetsuroito
2
2.2k
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
2k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
920
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
720
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
6.4k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
190
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.8k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
0
2.2k
Other Decks in Technology
See All in Technology
猫でもわかるKiro Web
kentapapa
1
160
Account Factory for Terraformによる 標準化されたアカウント発行の自動化
pensuke628
0
120
オブザーバビリティを高める AI エージェント体験を考える / Designing AI Agent Experiences That Enhance Observability
aoto
PRO
1
120
人にやさしく、AIにやさしく、書き手を選ばないIaCのガードレール再考 / Rethinking IaC Guardrails for Humans and AI Alike
kohbis
5
1.9k
AI Native Platform Engineering 〜PlatformとAgileで“作る速さ”を“価値”へ〜
uya116
0
570
Databricksメトリクスビューはじめてのもくもく会
taka_aki
0
150
Lambda MicroVMsは常駐サーバーの代わりに なるか? Kiro Crew を動かして検証してみた / Kiro Crew on Lambda MicroVMs
k_adachi_01
2
340
GitHub Agentic Workflows を触ってみる
htkym
2
900
サーバーフルコンピューティング?AWS Lambda
iwatatomoya
0
110
AIに書かせて、プラットフォームで縛る ― EKSプラットフォームで実践した責任境界と権限設計
elmodev09
1
1.1k
PQC移行の今 -- IETF からみた現在地
satokan
4
720
Execution in the Kingdom of Agents: Reflections on Abstraction and Complexity
bcantrill
0
610
Featured
See All Featured
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
560
RailsConf 2023
tenderlove
30
1.6k
Thoughts on Productivity
jonyablonski
76
5.4k
Primal Persuasion: How to Engage the Brain for Learning That Lasts
tmiket
0
490
We Are The Robots
honzajavorek
0
380
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
930
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.4k
The Cost Of JavaScript in 2023
addyosmani
55
10k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
203
76k
Leading Effective Engineering Teams in the AI Era
addyosmani
9
2.7k
Amusing Abliteration
ianozsvald
1
320
More Than Pixels: Becoming A User Experience Designer
marktimemedia
3
540
Transcript
基調公演 データ分析基盤の浸透に必要な事 2020/9/16(Wed) @Online
• 名前:伊藤 徹郎 (@tetsuroito) • 分野:Educational Technology , Learning Analytics
• 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Data Pipeline Casual Talk ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など 自己紹介
• 資料はWebに公開します ◦ アーカイブ動画も公開されます • 発表内容については個人の見解です ◦ 何か問い合わせなどあれば本人までお願いします • 用語・ツールの紹介は厳密ではありません
• オンライン登壇に不慣れのため、お聞苦しい部分もあるかもしれ ませんが、ご容赦ください 免責事項
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
過去のイベントで学んだこと DWHやBIツール データ収集基盤や整備
過去のイベントで学んだこと 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
• あれだけ苦労して基盤を作ったのに利用されない • 欲しいと言われていたダッシュボードも利用されていたのは最初だ け • 様々な指標を分析できるように用意したダッシュボードなのに利用 者は情報が多すぎて何を見ていいのかわからない • 誰もメンテしていなかったパイプラインを整理したら、色々な部署か
ら苦情がくる etc... データ分析基盤の関係者が必ず通る道
• あれだけ苦労して基盤を作ったのに利用されない • 欲しいと言われていたダッシュボードも利用されていたのは最初の 一週間だけ • 様々な指標を分析できるように用意したダッシュボードなのに利用 者は情報が多すぎて何を見ていいのかわからない • 誰もメンテしていなかったパイプラインを整理したら、色々な部署か
ら苦情がくる etc... データ分析基盤の関係者が必ず通る道 どうしてこんなこと になってしまうのか
• 俺の考える最強のデータ分析基盤が現場ニーズに合ってない • ビジネスバリュープロセスにおいてデータ活用が業務に組み込ま れていない • 要望は継続的なニーズではなくスポットのニーズであった • データ基盤の運用品質が低く、ユーザーが利用したい時に最新の データが連携されていない
• どこに何の情報があるのかわからない etc... データ分析基盤が使われない原因例
データ分析基盤を組織に浸透させる 銀の弾丸はない
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
組織にデータ分析基盤が浸透した状態を どう定義するか?
• データが天気予報のように活用され ている状況 • ユーザーは外出時の意思決定に利 用している • 定刻にデータを生成し、必要に応じ て加工・集計・分析し、提供している 引用:ウェザーニューズ
私の考える理想状態の一つは天気予報
• データが天気予報のように活用され ている状況 • ユーザーは外出時の意思決定に利 用している • 定刻にデータを生成し、必要に応じ て加工・集計・分析し、提供している 引用:ウェザーニューズ
私の考える理想状態の一つは天気予報 天気予報のように 分析基盤やダッシュボードを 組織内のどの程度の人たちが 活用できている状態を目指すのか
天気予報に価値提供サイクル 天気予報 を見る 天気状況の 確認 時間別降水 確率を確認 振り返り 行動 傘を持つか
意思決定 天気予報が利用者に価値を与えるプロセスは下記
データ基盤における価値提供サイクル ダッシュボード を見る KPIの確認 特定セグメ ントを確認 効果検証 実行 施策立案 データ基盤が利用者に価値を与えるプロセスは下記
業務上サイクルが組み込まれていれば 利用されるようになる
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
•戦略 •データマネジメント データ基盤が組織に浸透するためには が必要です
• 診断 ◦ 状況を診断し、取り組むべき課題を見極める • 基本方針 ◦ 診断で見つかった課題に対する総合的な方針を示す • 行動
◦ 基本方針を実行するための一貫した行動 戦略の構成要素
• 組織のデータ利用者数の把握 • クエリと用途の把握 • 利用の多いテーブルの傾向 • 部署別の利用状況の可視化 • 利用状況のKPI
◦ 何を持って浸透したとするか • 組織サーベイ 診断 ~今の組織のデータ利用状況は?~ 出典:「メルカリにおける分析環境整備の取り組み」より
• データ利用で価値を最大化させて いるユースケースを特定 • 成功事例を転用していく • 部署・役割によりその価値は様々な ので、応じた形で • 優先順位づけ
基本方針 ~価値を最大化させていく~ 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
• Modelで処理を共通化 • Viewで個別のユースケースへ • Viewによるツールは利用者にあっ たものに順次対応 • 品質における担保も行う 行動
~データ分析基盤でサポート~ 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
データ DAMAデータマネジメントフレームワーク データマネジメント ライフサイクル管理 データガバナンス アクティビティ 戦略 データ評 価 原則と倫
理 ポリシー スチュ ワード 文化の変革 リスク管理:セキュリティ、プライバシー、コンプライアンス メタデータ管理 データ品質管理 計画と設計 利用と強化 実装と維持 アーキテク チャ データとモ デリングと デザイン オペレー ション DWH データ統 合と相互 運用性 マスタデー タ管理 データスト レージ 参照デー タ管理 BI データサイ エンス マスタ データの 利用 データ収 益化 予測分析 ドキュメ ント コンテン ツ管理
データ DAMAデータマネジメントフレームワーク データマネジメント ライフサイクル管理 データガバナンス アクティビティ 戦略 データ評 価 原則と倫
理 ポリシー スチュ ワード 文化の変革 リスク管理:セキュリティ、プライバシー、コンプライアンス メタデータ管理 データ品質管理 計画と設計 利用と強化 実装と維持 アーキテク チャ データとモ デリングと デザイン オペレー ション DWH データ統 合と相互 運用性 マスタデー タ管理 データスト レージ 参照デー タ管理 BI データサイ エンス マスタ データの 利用 データ収 益化 予測分析 ドキュメ ント コンテン ツ管理 これまで話されてきた内容 (狭義の機能要件) 分析基盤が組織に浸透する と検討が必要になる内容 (狭義の非機能要件)
• 利用者が増加してくると多種多様なニーズ対応が必要 ◦ SoR(System of Records)からSoE(System of Engagement)へ ◦ 正しいものを正しく作る
• 開発(Dev)だけでなく、Ops(運用)の観点が重要に ◦ Data + DevOps → DataOps • 利用実態に見合った開発組織体制になっているか ◦ 予算、人員、権限、技術 (スパン・オブ・コントロール) データ分析基盤が浸透していくと
データマネジメントの詳細については • データマネジメント知識体系ガイド ◦ がっつり学びたい派におすすめ • データマネジメントが30分でわかる本 ◦ サクッと学びたい派におすすめ
• データ活用を企業戦略に組み込む • データ活用が業務フローに組み込まれる • データ基盤がきちんとマネジメントできている データ基盤が組織に浸透するには? 現場からのボトムアップだけでは限界 トップの協力が不可欠
ミンツバーグ先生の「創発戦略」に学ぶ トップ(意思決定者) 現場 方針策定 ビジョン共有 評価・目標設定 創発戦略 業務フロー提案 施策立案 オペレーション
• 店舗運営(オペレーション)は徹底的に標準化 ◦ ローカライズで差別化 • 全自動発注システム ◦ 需要予測、サプライチェーン強化 • 「データ経営」戦略の打ち出し
• 昇進要件にデータ分析を必須化 • 出店計画もA/Bテスト etc... 事例:ワークマン
本日の発表がデータ基盤を組織に浸透するように 日々努力をしている皆様の何かヒントになれば幸いです この後の事例セッションでも各社の取り組み 様々なヒントが見つかることを祈ります おわりに
ご静聴ありがとうございました Fin.