第8回DataMeshLT#3 DataMeshの実践と難しさ

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介株式会社NTTデータグループ技術革新統括本部システム技術本部 Data ＆ Intelligence 技術部課長 © 2024 NTT DATA Group Corporation 2 大山真実主な業務 • データプラットフォームのコンサルティング • Data＆AI領域の技術開発とグローバル展開主な経歴 • NTTデータ入社後、Hadoopなどビッグデータ基盤に携わる • NTT OSSセンターにて、PostgreSQLの研究開発 • 米国データベース企業に出向、テクニカルサポート担当 • 自動車メーカー出向、データプラットフォームアーキテクト

Slide 3

Slide 3 text

Slide 4

Slide 4 text

改めて、DataMeshとは？ 4 中央集権型プラットフォームのボトルネック問題を解消する自律分散型データプラットフォームのコンセプトデータ所有者はデータをプロダクトとみなし、データ利用者が満足するデータ提供を最優先とすることで、ユーザーによる利活用促進を実現する。データ管理の責任/意思決定権をドメインに委任。 “自律的に行動可能とする”ことで、アジリティー向上。データの流れ従来のデータプラットフォームデータメッシュ中央集権的にデータを管理することで、最適化を目指す。ただし中央組織がボトルネックとなる問題が増えてきた。データベースデータ収集データ蓄積データ加工データ活用 © 2024 NTT DATA Group Corporation

Slide 5

Slide 5 text

DataMeshの4原則 5 自律分散によってアジリティを高めるための４原則 Domain Oriented Ownership •業務ドメインごとに自律的にデータを管理し他の組織に提供。中央組織に頼らずにデータを管理・提供することでボトルネックを回避。 Data as a Product •データを製品として他の組織に提供。つまり、データの連携先を顧客と捉えることで、データの説明責任と信頼性を確保。これによってデータの管理を各ドメインに任せることによって生じるサイロ化の問題を回避。 Self-Service Data Platform •各ドメインが独力でデータプロダクトを開発・運用できるよう支援する機能と、データ利用者がセルフサービスでデータを扱える機能を備えたプラットフォームを提供。ITの専門家でなくても使いやすいプラットフォームを提供することで、各ドメインが自分たちでデータを管理・利用することによるコストの増加、人材確保の難しさを緩和。 Federated Computational Governance •個人情報保護などの共通ルールやデータプロダクト開発のインセンティブを設計することで全体最適化。共通ルールは中央で管理・統制されるのではなく各データプロダクトの中に実装する。中央集権的な体制がないことでデータが管理されていない状態になることを回避。 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 © 2024 NTT DATA Group Corporation

Slide 6

Slide 6 text

DataMeshの特徴 6 ソフトウェアエンジニアリングに関する最新のベストプラクティスをデータエンジニアリングに適用 Sociotechnicalアプローチ（社会技術アプローチ）ドメイン駆動設計（戦略）チームトポロジー • 組織と人を複雑な相互依存する1つのシステムとして扱う • 逆コンウェイの法則社会技術理論–心理的安全性 (psychsafety.co.uk) “DataMesh”という技術があるわけでないことに注意 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 • 全組織共通の、単一の統合されたデータモデルを構築するのは効果的でないし、実現可能でもない • 「境界付けられたコンテキスト」で分割 • チームとチーム間のコミュニケーション、データプロダクトとデータアクセスにパターンを作る • コミュニケーションの複雑性を下げる【資料公開】30分で分かった気になるチームトポロジー | Ryuzee.com © 2024 NTT DATA Group Corporation

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2024 NTT DATA Group Corporation 組織観点の難しさ：従来の役割分担からの抜本的な変更 9 組織間の役割分担、責任境界を変えるというのは本当に難しい、DataMeshの難しさはこれに集約される業務システム、データソースの人たちはデータプロダクトのプロダクトオーナーに • 日本の大企業ではベンダーに開発を依頼するのが普通、ベンダーがデータプロダクトを開発するのか？自社社員がやるのか？ • プロダクトマネジメントの実践…本業が忙しい中、そんな余裕はあるのか？情報システム部門やデータスチュワードはセルフサービスデータプラットフォームの提供や教育などのサポートに • 事業部門の要件に従ったシステム開発からプラットフォームをプロダクトとして提供するという、一般的な情報システム部門がこれまでやってこなかったやり方 • プラットフォームエンジニアリングの難しさデータ利用者は自分たちでデータの取り出しや分析データモデルの作成などをやらないといけない「共通基盤」を超えよ！今、Platform Engineeringに取り組むべき理由 - Speaker Deck by Kazuto Kusama/@jacopen

Slide 10

Slide 10 text

アプローチ１：志のある人たちで小さく始める 10 具体的に１つのユースケースを対象として、 DataMeshのコンセプトに沿った役割分担に変え、実装してみる Data Management at Scale, 2nd Edition By Piethein Strengholt O‘Reilly Media, Inc. より引用データ収集データ蓄積データ加工データ活用ユースケースを拡大していきながら自組織に合ったトポロジーを見つけていく ※この図はあくまでもイメージですトポロジーの例 Self-Service Data Platform © 2024 NTT DATA Group Corporation

Slide 11

Slide 11 text

アプローチ２：象徴的な成果をアピールする 11 例えば、データマーケットプレイス/データエクスチェンジを社内に公開する私の経験ではデータマーケットプレイスに少数でもいいのでデータプロダクトが並ぶと、それきっかけで DataMeshの取り組みが周知され、みんなの関心を惹くようになる社内向けデータマーケットプレイス/エクスチェンジとは？ ▪ データプロダクトの発見と、アクセス申請のワークフローを管理するツール ▪ 一般のビジネスユーザーにもわかりやすいシンプルな画面 ▪ よく使われるデータプロダクトを目立たせることによって最適化 https://aws.amazon.com/jp/blogs/big-data/design-a-datamesh-architecture-using-aws-lake-formation-and-aws-glue/ © 2024 NTT DATA Group Corporation

Slide 12

Slide 12 text

技術観点の難しさ：セルフサービスデータプラットフォームの実装非専門家でもデータプロダクトを開発できるようにするにはどうしたらいいか？ 12 アプローチ１データプロダクトのテンプレートを提供する？アプローチ２マルチクラウドプラットフォームを実装？ Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. からの引用 • 標準アクセスパターンの実装（SQL, REST API, Steamなど） • 認証認可、グローバルポリシーに基づくアクセス制御の機能 • データオブザーバビリティ、メタデータの提供機能などをテンプレートに埋め込むことで認知負荷を下げる。テンプレートってどう作るのがベスト？特に大企業だと複数のクラウドサービスを使っているのが普通、マルチクラウドでどう実現するか • 複数のクラウドを跨ぐメタデータの収集 © 2024 NTT DATA Group Corporation