データマネジメントのトレードオフに立ち向かう

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright stable, inc. All rights reserved.  データを販売・サービス利用する。データ基盤を使うのは顧客や協業先の人データマネジメントの大分類「誰のためか」という観点で、データマネジメントを社内向けと社外向けの 2つに分類する。 9 社内向けのデータマネジメント社外向けのデータマネジメント社内の意思決定の根拠として使われる。データ基盤を使うのは社内の分析者今回お話しする内容

Slide 10

Slide 10 text

Copyright stable, inc. All rights reserved.  社内向けのデータマネジメント社内向けでは、主に「データを用いた意思決定の精度向上」を目的として、意思決定のサイクルを回すためにデータが至るところで活用される。 10 Plan（計画） - 計画・目標数値の決定 - 施策の方向性を決めるためのデータ分析 Do（施策の実行） - データに基づいたクーポンの送付 Check（測定・評価） - 施策結果のモニタリング - 施策の効果検証 Action（対策・改善） - 現状の再把握 - 改善策を出すためのデータ分析

Slide 11

Slide 11 text

Copyright stable, inc. All rights reserved.  社内向けのデータマネジメントに重要な2つの要素データマネジメントの責務として、データ活用のサイクルを「早く、たくさん回すこと」に加えて、使われるデータが「正しいこと」を保証する必要がある。 11 データ活用のサイクルを早く、たくさん回す使われるデータが正しい使われるデータに、間違いや曖昧性がなく、間違った意思決定がされないようにするデータを適切に管理して、意思決定サイクルに使いやすい状態にする

Slide 12

Slide 12 text

Copyright stable, inc. All rights reserved.  ①サイクルを早く、たくさん回す分析ユーザーの人数を増やす、分析の頻度を増やす、分析の効率を上げる、などの取り組みにより、社内のデータを活かした意思決定サイクルの総量を増やす。 12 - 分析ユーザーの人数を増やす - 分析が行われる頻度を増やす - 分析作業の効率を高める目指す方向性データ活用のサイクルを早く、たくさん回すデータを活かした意思決定サイクルの総量を増やす

Slide 13

Slide 13 text

Copyright stable, inc. All rights reserved.  ②使われるデータが正しいデータ活用の総量を増やしたとしても、データに誤りがあれば意味がなくなる。そのために、データの正しさを保証する取り組みも必要となる。 13 - データの誤りをなくす - 障害によりデータが見れない状態を防ぐ - 人によって定義が異なる指標の定義を統一する目指す方向性間違ったデータが使われることで、誤った意思決定がされることを防ぐ使われるデータが正しい

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright stable, inc. All rights reserved.  データマネジメントのトレードオフ / 自由度を高めると... 社内のデータ活用の総量を増やすために拡大を進めると、様々なデータ品質的な課題が山のように出てきてしまう。 16 データ活用の総量を増やすデータの正しさ多くの人が、高頻度で、どんどんクエリを書いている状態 - 1回きりのダッシュボードが乱立... - クエリからクエリへの多重参照... - 鰻のタレのような注ぎ足しのクエリ... - 人によって集計の定義が違う...

Slide 17

Slide 17 text

Copyright stable, inc. All rights reserved.  データマネジメントのトレードオフ / ガバナンスを強めると... データの正しさを絶対的に担保するため、ガバナンスを強めすぎると、データ抽出のリードタイムは長くなり、施策に使えない状態になってしまう。 17 データ活用の総量を増やす間違ったデータやカオスを0にするために中央集権でガバナンスを強める - 自由にデータを使えない... - データチームに依頼するしかない... - データを見るまでのリードタイムが長い... - 遅すぎて施策に間に合わないので使われない... データの正しさ

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright stable, inc. All rights reserved.  データマネジメントにおけるトレードオフの構造一方で、分析の総量が増えることで、カオスやデータ品質の問題が生まれ、ネガティブループを引き起こす要因にもなってしまう。 19 分析の総量データが意思決定に寄与施策が上手くいくカオスが生まれるデータに誤りが含まれるデータに対する不信感分析に対する好感ネガティブポジティブ

Slide 20

Slide 20 text

Copyright stable, inc. All rights reserved.  データマネジメントにおけるトレードオフの構造トレードオフの構造に対して、データエンジニアが”介入”を行うことで、適切にデータ活用のサイクルが回り続ける状態を実現しようとしている。 20 介入分析の総量データが意思決定に寄与施策が上手くいくカオスが生まれるデータに誤りが含まれるデータに対する不信感分析に対する好感介入介入介入介入介入介入介入介入介入介入介入

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright stable, inc. All rights reserved.  データマネジメントの取り組み例目的に応じて様々な取り組みを行っている。一例を紹介する。 22 データ活用の総量を増やすデータの正しさ 1 BIツールの導入 ✅ 2 データカタログ ✅ ✅ 3 テストの拡充 ✅ 4 CI/CD ✅ 5 オブザーバビリティ ✅ 6 データモデリング ✅ ✅ 7 セマンティックレイヤー ✅ ✅ 8 データメッシュ ✅ ✅

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Copyright stable, inc. All rights reserved.  データマネジメントの取り組み例（2/8）データカタログ 24 *1: OpenMetadata公式HP（https://open-metadata.org/ ）概要 - データに関するデータ（メタデータ）を集約するためのツール - 分析で使うデータがどういうデータなのかを分析者が理解するために必要となる得られる成果の例 - 分析者がどこにどのデータがあるかを理解できるようになり、分析がしやすくなる - データに関する説明を見えるようにすることで、データを間違った解釈で使うリスクを減らせる ▼データカタログツールのOpenMetadataの例*1

Slide 25

Slide 25 text

Copyright stable, inc. All rights reserved.  データマネジメントの取り組み例（3/8）テストの拡充 25 概要 - dbtなどのパイプラインで、データに関するテストを実施する - データテスト、ユニットテスト、鮮度テスト、など様々な種類がある得られる成果の例 - 間違ったデータが提供されるリスクを減らす - データが更新されていないことに早く気付けるようにする ▼dbt testはyamlで簡単に実装できる ▼dbt ユニットテストのイメージ

Slide 26

Slide 26 text

Copyright stable, inc. All rights reserved.  データマネジメントの取り組み例（4/8） CI/CD（Continuous Integration/ Continuous Delivery） 26 *1: Fujitsu Cloud Direct「CI/CDとは」（https://clouddirect.jp.fujitsu.com/service/navi-words-ci_cd ）概要 - モデルの変更があった際に、変更内容を自動的にテストしたり、本番環境に自動でデプロイするような仕組み - 変更内容を本番環境に自動で適用したりする仕組み得られる成果の例 - テストが自動化されることにより、全ての変更がテスト済みの状態で提供される - 自動化によって、開発者の生産性が向上する ▼一般的なCI/CDの概念図*1

Slide 27

Slide 27 text

Copyright stable, inc. All rights reserved.  データマネジメントの取り組み例（5/8）データオブザーバービリティ 27 *1: Monte Carlo「What is Data Observability? 5 Key Pillars To Know」（https://www.montecarlodata.com/blog-what-is-data-observability/ ） *2: Elementary 公式HP（https://www.elementary-data.com/ ）概要 - テストは予測可能な問題に対してしか、データ品質の検証をすることができない - より広範囲にデータをモニタリングして、予測できない問題にも気付けるようにする得られる成果の例 - テストで拾えなかったデータ異常に気付ける ▼elementaryというツールの画面*2 ▼テストとの関係性*1

Slide 28

Slide 28 text

Copyright stable, inc. All rights reserved.  ▼データモデリングとは*1 データマネジメントの取り組み例（6/8）データモデリング 28 *1: stable株式会社「データモデリングの価値」（https://stable.co.jp/blog/data-modeling-value ）概要 - 分析者が分析しやすいように、データを整える営みのこと - ディメンショナルモデリングが代表的得られる成果の例 - 分析者が分析しやすくなる - 集計の定義が統一され、人によってズレない

Slide 29

Slide 29 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤー概要 - 様々なツールで使える、共通的なメトリクスを一箇所に集約してくれるもの - ユーザーの分析ニーズに合わせて、柔軟にSQLを発行して結果を返してくれる得られる成果の例 - 分析者がSQLを書く必要がなくなる - 集計の定義が統一され、人によってズレない ▼セマンティックレイヤーの概念図*1 データマネジメントの取り組み例（7/8） 29 *1: たくまん「セマンティックレイヤー / Headless BIとは」（https://zenn.dev/churadata/articles/e779a733c5fb35 ）

Slide 30

Slide 30 text

Copyright stable, inc. All rights reserved.  データメッシュ概要 - 中央集権的にデータ基盤を管理するのではなく、管理主体を事業ドメイン側に持たせる - 事業ドメイン間で、APIのようにデータをやり取りする得られる成果の例 - 中央集権のデータチームのリソース不足に依存しないため、スピードを高められる - 事業ドメイン固有の知識を活かして、データ基盤開発を行うことができる ▼データメッシュの概念図*1 データマネジメントの取り組み例（8/8） 30 *1: 「Example of dbt Multi-Projects」（https://medium.com/reﬁned-and-refactored/dbt-mesh-powering-the-data-mesh-the-ultimate-guide-a721ab78d008 ）

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Copyright stable, inc. All rights reserved.  まとめ 32 データマネジメントに重要な要素 - データ活用の総量を増やすこと - データの正しさデータマネジメントの課題 - 上記の2つはトレードオフ - バランスをとりながら適切に拡大していくどう課題を解決しようとしているか - 以下のような領域で課題の解決を試みている - データ活用の推進：BIツール、データカタログの導入 - データ品質の向上：テスト、CI/CD、データオブザーバビリティ - 両方：データモデリング、セマンティックレイヤー、データメッシュ - これらの技術は直近2,3年で急速に成長していて面白い時代！