Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
September 16, 2020
Technology
4
3.5k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
September 16, 2020
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
960
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
350
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
0
340
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
4.3k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
76
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
910
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
0
1.4k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
2.9k
サブスクリプションミートアップOPトークスライド
tetsuroito
0
4.1k
Other Decks in Technology
See All in Technology
2022年に起きたフロントエンドの変化
sakito
28
16k
IoT から見る AWS re:invent 2022 ― AWSのIoTの歴史を添えて/Point of view the AWS re:invent 2022 with IoT - with a history of IoT in AWS
ma2shita
0
160
インフラ技術基礎勉強会 開催概要
toru_kubota
0
130
OpenShiftでスポットVMを使おう.pdf
jpishikawa
1
140
20230121_データ分析系コミュニティ_サテライト企画
doradora09
0
470
OCIコンテナサービス関連の技術詳細 /oke-ocir-details
oracle4engineer
PRO
0
750
PCL (Point Cloud Library)の基本となぜ点群処理か_2023年_第2版.pdf
cvmlexpertguide
0
130
Stripe / Okta Customer Identity Cloud(旧Auth0) の採用に至った理由 〜モリサワの SaaS 戦略〜
tomuro
0
110
RDS/Aurora バージョンアップのポイント
hmatsu47
PRO
8
1.6k
lt53
98_justdoit
0
110
SPA・SSGでSSRのようなOGP対応!
simo123
2
140
GitHub Codespaces が拡げる開発環境、いつでもどこでも Visual Studio Code で!
dzeyelid
0
150
Featured
See All Featured
Building an army of robots
kneath
301
40k
Producing Creativity
orderedlist
PRO
335
37k
Stop Working from a Prison Cell
hatefulcrawdad
263
18k
Faster Mobile Websites
deanohume
295
29k
The Cult of Friendly URLs
andyhume
68
5.1k
GraphQLとの向き合い方2022年版
quramy
20
9.8k
Intergalactic Javascript Robots from Outer Space
tanoku
261
26k
How to Ace a Technical Interview
jacobian
270
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
500
130k
Making the Leap to Tech Lead
cromwellryan
116
7.6k
Side Projects
sachag
451
37k
Web Components: a chance to create the future
zenorocha
304
40k
Transcript
基調公演 データ分析基盤の浸透に必要な事 2020/9/16(Wed) @Online
• 名前:伊藤 徹郎 (@tetsuroito) • 分野:Educational Technology , Learning Analytics
• 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Data Pipeline Casual Talk ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など 自己紹介
• 資料はWebに公開します ◦ アーカイブ動画も公開されます • 発表内容については個人の見解です ◦ 何か問い合わせなどあれば本人までお願いします • 用語・ツールの紹介は厳密ではありません
• オンライン登壇に不慣れのため、お聞苦しい部分もあるかもしれ ませんが、ご容赦ください 免責事項
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
過去のイベントで学んだこと DWHやBIツール データ収集基盤や整備
過去のイベントで学んだこと 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
• あれだけ苦労して基盤を作ったのに利用されない • 欲しいと言われていたダッシュボードも利用されていたのは最初だ け • 様々な指標を分析できるように用意したダッシュボードなのに利用 者は情報が多すぎて何を見ていいのかわからない • 誰もメンテしていなかったパイプラインを整理したら、色々な部署か
ら苦情がくる etc... データ分析基盤の関係者が必ず通る道
• あれだけ苦労して基盤を作ったのに利用されない • 欲しいと言われていたダッシュボードも利用されていたのは最初の 一週間だけ • 様々な指標を分析できるように用意したダッシュボードなのに利用 者は情報が多すぎて何を見ていいのかわからない • 誰もメンテしていなかったパイプラインを整理したら、色々な部署か
ら苦情がくる etc... データ分析基盤の関係者が必ず通る道 どうしてこんなこと になってしまうのか
• 俺の考える最強のデータ分析基盤が現場ニーズに合ってない • ビジネスバリュープロセスにおいてデータ活用が業務に組み込ま れていない • 要望は継続的なニーズではなくスポットのニーズであった • データ基盤の運用品質が低く、ユーザーが利用したい時に最新の データが連携されていない
• どこに何の情報があるのかわからない etc... データ分析基盤が使われない原因例
データ分析基盤を組織に浸透させる 銀の弾丸はない
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
組織にデータ分析基盤が浸透した状態を どう定義するか?
• データが天気予報のように活用され ている状況 • ユーザーは外出時の意思決定に利 用している • 定刻にデータを生成し、必要に応じ て加工・集計・分析し、提供している 引用:ウェザーニューズ
私の考える理想状態の一つは天気予報
• データが天気予報のように活用され ている状況 • ユーザーは外出時の意思決定に利 用している • 定刻にデータを生成し、必要に応じ て加工・集計・分析し、提供している 引用:ウェザーニューズ
私の考える理想状態の一つは天気予報 天気予報のように 分析基盤やダッシュボードを 組織内のどの程度の人たちが 活用できている状態を目指すのか
天気予報に価値提供サイクル 天気予報 を見る 天気状況の 確認 時間別降水 確率を確認 振り返り 行動 傘を持つか
意思決定 天気予報が利用者に価値を与えるプロセスは下記
データ基盤における価値提供サイクル ダッシュボード を見る KPIの確認 特定セグメ ントを確認 効果検証 実行 施策立案 データ基盤が利用者に価値を与えるプロセスは下記
業務上サイクルが組み込まれていれば 利用されるようになる
• はじめに • データ分析基盤が浸透した状態とは • データ分析基盤を組織に浸透させるために必要なこと • おわりに アジェンダ
•戦略 •データマネジメント データ基盤が組織に浸透するためには が必要です
• 診断 ◦ 状況を診断し、取り組むべき課題を見極める • 基本方針 ◦ 診断で見つかった課題に対する総合的な方針を示す • 行動
◦ 基本方針を実行するための一貫した行動 戦略の構成要素
• 組織のデータ利用者数の把握 • クエリと用途の把握 • 利用の多いテーブルの傾向 • 部署別の利用状況の可視化 • 利用状況のKPI
◦ 何を持って浸透したとするか • 組織サーベイ 診断 ~今の組織のデータ利用状況は?~ 出典:「メルカリにおける分析環境整備の取り組み」より
• データ利用で価値を最大化させて いるユースケースを特定 • 成功事例を転用していく • 部署・役割によりその価値は様々な ので、応じた形で • 優先順位づけ
基本方針 ~価値を最大化させていく~ 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
• Modelで処理を共通化 • Viewで個別のユースケースへ • Viewによるツールは利用者にあっ たものに順次対応 • 品質における担保も行う 行動
~データ分析基盤でサポート~ 出典:「Data Platform Guide - 事業を成長させるデータ基盤を作るには」より
データ DAMAデータマネジメントフレームワーク データマネジメント ライフサイクル管理 データガバナンス アクティビティ 戦略 データ評 価 原則と倫
理 ポリシー スチュ ワード 文化の変革 リスク管理:セキュリティ、プライバシー、コンプライアンス メタデータ管理 データ品質管理 計画と設計 利用と強化 実装と維持 アーキテク チャ データとモ デリングと デザイン オペレー ション DWH データ統 合と相互 運用性 マスタデー タ管理 データスト レージ 参照デー タ管理 BI データサイ エンス マスタ データの 利用 データ収 益化 予測分析 ドキュメ ント コンテン ツ管理
データ DAMAデータマネジメントフレームワーク データマネジメント ライフサイクル管理 データガバナンス アクティビティ 戦略 データ評 価 原則と倫
理 ポリシー スチュ ワード 文化の変革 リスク管理:セキュリティ、プライバシー、コンプライアンス メタデータ管理 データ品質管理 計画と設計 利用と強化 実装と維持 アーキテク チャ データとモ デリングと デザイン オペレー ション DWH データ統 合と相互 運用性 マスタデー タ管理 データスト レージ 参照デー タ管理 BI データサイ エンス マスタ データの 利用 データ収 益化 予測分析 ドキュメ ント コンテン ツ管理 これまで話されてきた内容 (狭義の機能要件) 分析基盤が組織に浸透する と検討が必要になる内容 (狭義の非機能要件)
• 利用者が増加してくると多種多様なニーズ対応が必要 ◦ SoR(System of Records)からSoE(System of Engagement)へ ◦ 正しいものを正しく作る
• 開発(Dev)だけでなく、Ops(運用)の観点が重要に ◦ Data + DevOps → DataOps • 利用実態に見合った開発組織体制になっているか ◦ 予算、人員、権限、技術 (スパン・オブ・コントロール) データ分析基盤が浸透していくと
データマネジメントの詳細については • データマネジメント知識体系ガイド ◦ がっつり学びたい派におすすめ • データマネジメントが30分でわかる本 ◦ サクッと学びたい派におすすめ
• データ活用を企業戦略に組み込む • データ活用が業務フローに組み込まれる • データ基盤がきちんとマネジメントできている データ基盤が組織に浸透するには? 現場からのボトムアップだけでは限界 トップの協力が不可欠
ミンツバーグ先生の「創発戦略」に学ぶ トップ(意思決定者) 現場 方針策定 ビジョン共有 評価・目標設定 創発戦略 業務フロー提案 施策立案 オペレーション
• 店舗運営(オペレーション)は徹底的に標準化 ◦ ローカライズで差別化 • 全自動発注システム ◦ 需要予測、サプライチェーン強化 • 「データ経営」戦略の打ち出し
• 昇進要件にデータ分析を必須化 • 出店計画もA/Bテスト etc... 事例:ワークマン
本日の発表がデータ基盤を組織に浸透するように 日々努力をしている皆様の何かヒントになれば幸いです この後の事例セッションでも各社の取り組み 様々なヒントが見つかることを祈ります おわりに
ご静聴ありがとうございました Fin.