Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MeetUP4_データマネジメント_20221208
Search
BrainPad
December 14, 2022
Programming
1
1.9k
MeetUP4_データマネジメント_20221208
BrainPad
December 14, 2022
Tweet
Share
More Decks by BrainPad
See All by BrainPad
Pythonを活用したLLMによる構造的データ生成の手法と実践
brainpadpr
3
290
白金鉱業Meetup Vol.15 DMLによる条件付処置効果の推定_sotaroIZUMI_20240919
brainpadpr
1
370
白金鉱業Meetup Vol.15 効果検証の怖い話_tomokazuABE_20240919
brainpadpr
4
890
ブレインパッドデータ活用業務支援サービス紹介資料
brainpadpr
2
61
ブレインパッドデータ活用人材育成サービス紹介資料
brainpadpr
3
100
「ビジネス現場でのデータ分析者」 東京大学 GCI 2024 Summer
brainpadpr
7
1.9k
拡散モデルの原理紹介
brainpadpr
3
4.2k
位相的データ解析とその応用例
brainpadpr
1
430
ベイズ最適化をゼロから
brainpadpr
2
650
Other Decks in Programming
See All in Programming
タイミーにおけるデータの利用シーンと データ基盤の挑戦
marufeuille
4
3.2k
What is TDD?
urakawa_jinsei
1
210
推しの夫に恋のGPS「ときメーター」#M5Stack #IoT #M5JPTour2024
riyu
0
230
標準ライブラリの動向とイテレータのパフォーマンス
makki_d
3
190
XP2024 っていう国際会議に行ってきたよの記 / XP2024 Conference Report
bonotake
4
200
perl for shell, awk and sed programmers
mackee
1
640
Quarto Clean Theme
nicetak
0
220
クラウドサービスの 利用コストを削減する技術 - 円安の真南風を感じて -
pyama86
3
330
pytest プラグインを開発して DRY に自動テストを書こう
inuatsu
2
250
利用者視点で考える、イテレータとの上手な付き合い方
syumai
4
220
AWS CDKを用いたセキュアなCI/CDパイプラインの構築 / Build a secure CI/CD pipeline using AWS CDK
seike460
PRO
3
600
自分だけの世界を創るクリエイティブコーディング / Creative Coding: Creating Your Own World
chobishiba
2
750
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
222
8.8k
RailsConf 2023
tenderlove
28
840
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.6k
For a Future-Friendly Web
brad_frost
174
9.3k
Fireside Chat
paigeccino
32
3k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Being A Developer After 40
akosma
84
590k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
105
48k
Why Our Code Smells
bkeepers
PRO
334
57k
Adopting Sorbet at Scale
ufuk
73
9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
29
1.7k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Transcript
BrainPad プロダクトビジネス本部 開発部 2022年12月8日 データマネジメント データマネジメントの原則
©2017 BrainPad Inc. ブレインパッドでは、「データ活用の促進を通じて持続可能な未来をつ くる」というミッションを掲げ、お客様にサービスやプロダクトを提供 しています。 データ活用のためには、データマネジメントが必要です。 ブレインパッドとしては、ミッション達成のため、自らがデータマネジ メントを学ぶだけではなく、広めていく必要があります。 なぜデータマネジメントなのか?
©2017 BrainPad Inc. データマネジメントについての社内勉強会を実施しています。 勉強会では、書籍からの紹介だけではなく、現場からの体験の共有も行 っています。 社内勉強会には、エンジニア以外のメンバーも参加し 様々な視点から議論を行っています。 データマネジメント勉強会 勉強会資料より抜粋
©2017 BrainPad Inc. データマネジメント勉強会を主催している立場から、社内勉強会での議 論の内容を一部含め、「データマネジメントの原則」について紹介。 スピーカーは、データ活用のプラットフォームであるRtoasterの開発部 に所属。お客様の製品導入を複数担当した経験から、データマネジメン トの重要性と難しさを痛感しています。 単なる知識としてのデータマネジメントではなく 実践・継続できる取り組みを模索しています。
本日のBrainPadエンジニアトーク#4について
データマネジメントの重要性
©2017 BrainPad Inc. データ活用の重要性は増えている [例えば] 主に法人向けの小売業。(*実在しない組織です) 電話、FAX、営業の直接受注、ECサイトでの販売を行ってきた。 これまでは営業の直接受注の割合が大きく、電話とFAXは直接受注を 補う形で存在(追加注文等)していた。 ECサイトは近年始めたばかりで、売上のメインではなかった。
©2017 BrainPad Inc. データ活用の重要性は増えている 新型コロナウイルスの影響 • 顧客訪問できなくなり、直接受注が困難に • ECサイトに新規顧客が増え、個人顧客が増える •
ライバル社がECサイトとスマホアプリで売上を伸ばす ⇒ ECサイトに力を入れることに 膨らむ夢 • ライバル社のようにオススメ商品を出したい • 既存のお客様には、ECサイトでも訪問販売の時のような細やかなサ ービスを提供したい
©2017 BrainPad Inc. データ活用に苦戦する組織は多い • ECサイトにマーケティングツールを導入! • オフラインデータ統合のためCDPも導入! しかし、導入を決定してから、実際に稼働するまでに、大変な時間とコ ストがかかる
• データの統合が進まない • 使う予定だったデータが使えない • 想定していたECサイトでの施策ができない • 関係部署が多く、取りまとめに多大なコストがかかる
©2017 BrainPad Inc. こんな経験ありませんか? 実際にデータを活用しよう!という段階になると、嬉しくないことが分 かってくる • 複数システムについて総合的に仕様等を理解している人がほとんどいない • ドキュメントがない、もしくは最新か不明
• システム運用管理を、業務委託に依存。業務委託にデータの取り出しを依頼すると、都度請求さ れる • 売上日の定義がシステムで異なり、曖昧 • システムでIDの体系が異なる • 複数部署がデータを管理しており、それぞれのやり方があり、協力が難しい • 更新されていないデータが混じっているが、利用のリスクも測れない • セキュリティポリシーに関わるデータがあり、利用ルールの作成に時間がかかる
©2017 BrainPad Inc. 「アプリやITサービス導入だけでは不十分」 テクノロジーは、手段に過ぎない。 「今日のデータは、ほとんど電子的に保存されるので、ITと切り離すこ とはできない。しかし、ITの管理はデータの管理と同じではない。 ITが先に来るのではなく、事業戦略に沿ってデータ要件を決め、そこか らITを決定していく。」(DAMA DMBOK)
データを活用するにはデータマネジメントが必要 組織がデータについて抱える課題の80%は、人やプロセスに関することで、テクノロジーに関する ことではない(ピーター・エイキン)
©2017 BrainPad Inc. Data Management Body of Knowledge データマネジメントに関する知識を体系立ててまとめた書籍。データマ ネジメントプロフェッショナルの入門書。
データマネジメントを学ぶに は、最適の書籍と思われる。 DAMA DMBOK(ディンボック)とは 11
©2017 BrainPad Inc. 「Data Management Association International(DAMA-I)は、世界各 地に80の支部を持ち、8,000名を越える会員を擁する全世界のデータ専門 家のための国際的な非営利団体です。 特定のベンダーや技術、手法に依
存しないことを前提として、データや情報、知識をエンタープライズの 重要な資産として管理する必要性の理解を促し、この分野の成長を推進 しております。」 https://www.dama-japan.org/Introduction.html DAMA とは 12
©2017 BrainPad Inc. データマネジメントは「良い」データのため 13 「良い」データは、 「良い」データ分析・活用の基礎 (ピーター・エイキンのフレームワーク) 赤で囲われている部分が データマネジメントの領
域
©2017 BrainPad Inc. 「良い」データは「良い」データ活用に欠かせない 14 ゴミを入れたら、どんなに素敵な分析ロジックを使っても、ゴミ が出力される(ピーター・エイキン)
©2017 BrainPad Inc. データマネジメントの意義 組織がデータ資産から価値を得られるようにすること。 ゴール • 自社や顧客・従業員・ビジネスパートナーを含むステークホルダの情報ニーズ を理解し、サポートする •
データ資産を取得し、保管し、保護し、健全性を担保する • データとインフォメーションの品質を担保する • ステークホルダが保有するデータのプライバシーと機密性を確保する • 不正または不適切なデータとインフォメーションへのアクセス、操作・仕様を 防止する • 企業が付加価値を創造するためにデータを効果的に利用できるようにする
データマネジメントの原則
©2017 BrainPad Inc. 価値を定量化する一貫した方法が必要。低品質のデータにかかるコストも含 めて。 例えば、以下のような視点から算出する • データを整備することによる経済的価値 • データが損なわれることによる経済的損失
• データを最新に保つためのコスト • 必要な量のデータを処理するためのインフラコスト データの価値は経済的観点で評価できる&すべき 17 Google Big Queryなども以前と比べると安価になってきているが、大量データ処理の コストは馬鹿にならない!(為替の変動も考慮すべき)
©2017 BrainPad Inc. 求められる品質は、データや状況によって異なる 例えば • 可用性 • 信頼性 •
保守性 ケースごとに、何が求められるのかを判断する必要がある まずは、求められる品質の定義から。 データの管理=データ品質の管理 18 ビジネス上の判断。IT部門は判断材料は提供できるが、判断はできない。
©2017 BrainPad Inc. メタデータは「データに関するデータ」 • どんなデータがあるのか • そのデータはどこでどのように発生するのか • そのデータが何を表すのか
• 誰がそのデータにアクセスできるのか • 利用者はどうやって欲しいデータを見つけられるのか どれだけ大量のデータを持っていても、どれだけ貴重なデータを持っていて も、メタデータの信頼性が低いと活用につながらない データの管理にはメタデータが必要 19
©2017 BrainPad Inc. 小さな組織においてさえ、複雑なIT・業務プロセスが走っている。デ ータは様々なところで生成され、部門間を移動しながら利用される。 業務をうまくコーディネートし、望みの結果を得たければ、アーキテ クチャやプロセスの観点から、計画を立てなければならない。 データマネジメントには予め計画が必要 20
©2017 BrainPad Inc. 冒頭の小売の例で関係部署・システムを考えてみる 少し考えてみるだけでも、複数の関係部署があり、複数のシステムが存在する
©2017 BrainPad Inc. 全組織のデータを一つのチームで管理することはできない。 データマネジメントには技術的、非技術的なスキルと協調性が必要であ る。 機能横断的な活動で、幅広いスキルや専門性が求められる 22
©2017 BrainPad Inc. データマネジメントをするには、関係部署のそれぞれの目標や業務を理解す ることが必要。 小売の例で考えてみる 23 重要なのは、 「適正在庫」と 誤出荷率改善!
回収できなければ、 売上にならない! CVRをあげ るには? 回答率の改 善! ノルマ達 成! サーバ管理一元 化し、運用コス トダウン!
©2017 BrainPad Inc. データマネジメントが局所的に適用されることはあるが、できるだけ 効率的に適用されなければいけない。 これが、データマネジメントとデータガバナンスが絡み合う一つの理 由である。 全社的な視点が必須 24
©2017 BrainPad Inc. データは流れる液体のようなものである。データが生成され利用される 方法やデータ利用者の変化に対応するため、データマネジメントは常に 進化しなければならない。 幅広い視点を考慮する 25
©2017 BrainPad Inc. データ利用者の変化を考える 26 タグによる、商品 のトラッキング導 入をすべき 債権データのアクセ ス権限の強化が必要
になっている 最新のAIチ ャット機能 を導入した い 割引購入の 履歴を知り たい ECでの売上デ ータをリアル タイムで知り たい 個人情報の法律 の変化に対応 を! 業務効率化 への活用 費用対効果 出てます か?
©2017 BrainPad Inc. データにもライフサイクルがあり、データの管理とはそのライフサイク ルを通じた管理である。 データがデータを生み出すことを考えると、データライフサイクルは非 常に複雑になる。データマネジメントを実践するにはデータライフサイ クルを考慮しなければならない。 データマネジメント=ライフサイクル管理 27
最新ではないデータを使うリスクとコストは大きいが、 データを定期的に見直し、クレンジング&アップデー トすることが健全にできている組織は多くない。
©2017 BrainPad Inc. データの種類によって管理に求められることが違ってくる。 データマネジメントを実践するにあたり、この違いを認識し、様々な データライフサイクルの要求に柔軟に答えられるようにする必要があ る。 例えば、 • 更新頻度の違い
• 更新のコストの違い • 最新でないことで生じるリスク・コストの違い データの種類でライフサイクルの性格が異なる 28
©2017 BrainPad Inc. データの種類 (小売の例) 売掛金情報 在庫情報 発送情報 注文情報 法人顧客マス
ター 問い合わせ情報 顧客マスター 商品マスター 商品マスター 債権者情報 個人顧客マス ター
©2017 BrainPad Inc. データは組織の資産であるとともにリスクでもある。 データは消失したり、盗まれたり、誤用されることがある。 組織はデータを利用するにあたり、倫理的な意味も考慮すべきである。 データに関するリスクはデータライフサイクルの一環として管理されな ければならない。 顧客情報の流失は、何よりもお客様からの信頼を損なう データに伴うリスクの管理も含まれる
30
©2017 BrainPad Inc. データとデータマネジメントはITとITの管理と深く絡んでいる。 ただし組織の戦略的なデータ要求はITによって決まるのではなく、ITの 力を借りて実現されるのであり、データマネージメントにはそのような アプローチが必要である。 再掲:テクノロジーは手段にすぎない データマネジメント上の要件がIT上の決定を左右する 31
©2017 BrainPad Inc. データマネジメントには一連の複合的プロセスが絡んでおり、コーディ ネートし、協調し、確実に責務を果たさない限り効果を生まない。 その実現には、管理スキルだけではなく、ビジョンや目的が必要で、リ ーダーがそれにコミットすることが必要である。 効果的なデータマネジメントにはリーダーのコミットが必要 32 強めの権限とやり抜くコミットメント、
地に足のついたビジョンを持ったリー ダー
最後に
©2017 BrainPad Inc. DAMA DMBOKの第一章から、「データマネジメントの原則」について 紹介しました。 データ活用の目的は組織で異なるため、組織毎にデータマネジメントの 解があります。データマネジメントは、何らかのソフトウエアを購入し て解決する問題ではありません。時間とコストがかかり、地味で地道な タイプの活動です。ただし、取り組めば、データ活用で大きな成果を出
すことが可能になります。 引き続き勉強会などを通じて、データマネジメントを学び、広げていき たいと考えています。 最後に 34
株式会社ブレインパッド 〒106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL:03-6721-7002 FAX:03-6721-7010 www.brainpad.co.jp
[email protected]
本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含ま れており、これら情報に基づく本資料の内容は、御社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その一部または全
文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を 使用または公開することは、いかなる場合も禁じられております。