Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第8回DataMeshLT#3 DataMeshの実践と難しさ
Search
SnowflakeDataManagementJP
June 07, 2024
Technology
2
150
第8回DataMeshLT#3 DataMeshの実践と難しさ
SnowflakeUserGroupデタマネコミュニティ第8回活動で利用したLT資料の5本中3本目を公開します!
SnowflakeDataManagementJP
June 07, 2024
Tweet
Share
More Decks by SnowflakeDataManagementJP
See All by SnowflakeDataManagementJP
第8回DataMeshLT#4 Snowflake-データメッシュガバナンス
sfdmt
1
350
第8回DataMeshLT#5 データメッシュの魅力:原則から拓く新たな道
sfdmt
1
250
第8回DataMeshLT#1 DataMeshって?
sfdmt
0
81
第8回DataMeshLT#2 とあるエンプラ企業への DataMesh適用シミュレーション
sfdmt
3
170
第6回 データを売ることの『夢』と『現実』
sfdmt
0
920
第5回データ人材 ~エンプラ企業にいそうなヤバイやつ~
sfdmt
0
510
第3回データモデリング?どのレベルでやるの?
sfdmt
3
2k
第2回データドリブン文化醸成〜組織を変えるには〜
sfdmt
2
330
第1回データ品質のお悩みと解決方法を考えてみた
sfdmt
2
900
Other Decks in Technology
See All in Technology
Unlocking the Power of AI Agents with LINE Bot MCP Server
linedevth
0
110
株式会社ログラス - 会社説明資料【エンジニア】/ Loglass Engineer
loglass2019
4
65k
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
5年目から始める Vue3 サイト改善 #frontendo
tacck
PRO
3
230
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
10k
初めてAWSを使うときのセキュリティ覚書〜初心者支部編〜
cmusudakeisuke
1
280
バイブスに「型」を!Kent Beckに学ぶ、AI時代のテスト駆動開発
amixedcolor
2
580
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
260
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
1.1k
スクラムガイドに載っていないスクラムのはじめかた - チームでスクラムをはじめるときに知っておきたい勘所を集めてみました! - / How to start Scrum that is not written in the Scrum Guide 2nd
takaking22
1
160
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.8k
「何となくテストする」を卒業するためにプロダクトが動く仕組みを理解しよう
kawabeaver
0
430
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Music & Morning Musume
bryan
46
6.8k
Building Applications with DynamoDB
mza
96
6.6k
Scaling GitHub
holman
463
140k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Facilitating Awesome Meetings
lara
55
6.5k
How to Ace a Technical Interview
jacobian
279
23k
Docker and Python
trallard
46
3.6k
Transcript
© 2024 NTT DATA Group Corporation DataMeshの 実践と難しさ 株式会社NTTデータグループ 大山
真実 2024/05/10デタマネ会#8 LT&ディスカッション What is ”DataMesh”…? Date
自己紹介 株式会社NTTデータグループ 技術革新統括本部 システム技術本部 Data & Intelligence 技術部 課長 ©
2024 NTT DATA Group Corporation 2 大山 真実 主な業務 • データプラットフォームのコンサルティング • Data&AI領域の技術開発とグローバル展開 主な経歴 • NTTデータ入社後、Hadoopなどビッグデータ基盤に携わる • NTT OSSセンターにて、PostgreSQLの研究開発 • 米国データベース企業に出向、テクニカルサポート担当 • 自動車メーカー出向、データプラットフォームアーキテクト
DataMeshとは? #1 3 © 2024 NTT DATA Group Corporation
改めて、DataMeshとは? 4 中央集権型プラットフォームのボトルネック問題を解消する自律分散型データプラットフォームのコンセプト データ所有者はデータをプロダクトとみなし、 データ利用者が満足するデータ提供を最優先とすることで、 ユーザーによる利活用促進を実現する。 データ管理の責任/意思 決定権をドメインに委任。 “自律的に行動可能とす る”ことで、アジリ
ティー向上。 データの流れ 従来のデータプラットフォーム データメッシュ 中央集権的にデータを管理することで、最適化を目指す。 ただし中央組織がボトルネックとなる問題が 増えてきた。 データベース データ収集 データ蓄積 データ加工 データ活用 © 2024 NTT DATA Group Corporation
DataMeshの4原則 5 自律分散によってアジリティを高めるための4原則 Domain Oriented Ownership •業務ドメインごとに自律的にデータを管理し他の組織に提供。中央組織に頼らずに データを管理・提供することでボトルネックを回避。 Data as
a Product •データを製品として他の組織に提供。つまり、データの連携先を顧客と捉えること で、データの説明責任と信頼性を確保。これによってデータの管理を各ドメインに 任せることによって生じるサイロ化の問題を回避 。 Self-Service Data Platform •各ドメインが独力でデータプロダクトを開発・運用できるよう支援する機能と、 データ利用者がセルフサービスでデータを扱える機能を備えたプラットフォームを 提供。ITの専門家でなくても使いやすいプラットフォームを提供することで、各ド メインが自分たちでデータを管理・利用することによるコストの増加、人材確保の 難しさを緩和。 Federated Computational Governance •個人情報保護などの共通ルールやデータプロダクト開発のインセンティブを設計す ることで全体最適化。共通ルールは中央で管理・統制されるのではなく各データプ ロダクトの中に実装する。中央集権的な体制がないことでデータが管理されていな い状態になることを回避。 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 © 2024 NTT DATA Group Corporation
DataMeshの特徴 6 ソフトウェアエンジニアリングに関する最新のベストプラクティスをデータエンジニアリングに適用 Sociotechnicalアプローチ (社会技術アプローチ) ドメイン駆動設計(戦略) チームトポロジー • 組織と人を複雑な相互依存する1つのシス テムとして扱う
• 逆コンウェイの法則 社会技術理論–心理的安全性 (psychsafety.co.uk) “DataMesh”という技術があるわけでないことに注意 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 • 全組織共通の、単一の統合されたデータ モデルを構築するのは効果的でないし、 実現可能でもない • 「境界付けられたコンテキスト」で分割 • チームとチーム間のコミュニケーション、 データプロダクトとデータアクセスにパ ターンを作る • コミュニケーションの複雑性を下げる 【資料公開】30分で分かった気になるチームトポロジー | Ryuzee.com © 2024 NTT DATA Group Corporation
DataMesh実現へのアプローチ #2 7 © 2024 NTT DATA Group Corporation
実際やろうとするとDataMesh難しい… 8 組織と技術の観点で主な難しいポイント 組織的な難しいポイント 技術的な難しいポイント • 従来の役割分担からの 抜本的な変更 • セルフサービスデータ
プラットフォームの実装 非専門家でもデータプロダクトを開発でき るようにするにはどうしたらいいか? • マルチクラウドでの実践 © 2024 NTT DATA Group Corporation
© 2024 NTT DATA Group Corporation 組織観点の難しさ:従来の役割分担からの抜本的な変更 9 組織間の役割分担、責任境界を変えるというのは本当に難しい、DataMeshの難しさはこれに集約される 業務システム、データソースの人たちはデータプロダクトの
プロダクトオーナーに • 日本の大企業ではベンダーに開発を依頼するのが普通、 ベンダーがデータプロダクトを開発するのか?自社社 員がやるのか? • プロダクトマネジメントの実践…本業が忙しい中、そ んな余裕はあるのか? 情報システム部門やデータスチュワードはセルフサービス データプラットフォームの提供や教育などのサポートに • 事業部門の要件に従ったシステム開発からプラット フォームをプロダクトとして提供するという、一般的 な情報システム部門がこれまでやってこなかったやり 方 • プラットフォームエンジニアリングの難しさ データ利用者は自分たちでデータの取り出しや分析データモ デルの作成などをやらないといけない 「共通基盤」を超えよ! 今、Platform Engineeringに取り組むべ き理由 - Speaker Deck by Kazuto Kusama/@jacopen
アプローチ1:志のある人たちで小さく始める 10 具体的に1つのユースケースを対象として、 DataMeshのコンセプトに沿った役割分担に変え、 実装してみる Data Management at Scale, 2nd
Edition By Piethein Strengholt O‘Reilly Media, Inc. より引用 データ収集 データ蓄積 データ加工 データ活用 ユースケースを拡大していきながら自組織に合った トポロジーを見つけていく ※この図はあくまでも イメージです トポロジーの例 Self-Service Data Platform © 2024 NTT DATA Group Corporation
アプローチ2:象徴的な成果をアピールする 11 例えば、データマーケットプレイス/データエクスチェンジを社内に公開する 私の経験ではデータマーケットプレ イスに少数でもいいのでデータプロ ダクトが並ぶと、それきっかけで DataMeshの取り組みが周知され、 みんなの関心を惹くようになる 社内向けデータマーケットプレイス/エクスチェンジとは? ▪
データプロダクトの発見と、アクセス申請のワークフローを管理するツール ▪ 一般のビジネスユーザーにもわかりやすいシンプルな画面 ▪ よく使われるデータプロダクトを目立たせることによって最適化 https://aws.amazon.com/jp/blogs/big-data/design-a-data- mesh-architecture-using-aws-lake-formation-and-aws-glue/ © 2024 NTT DATA Group Corporation
技術観点の難しさ:セルフサービスデータプラットフォームの実装 非専門家でもデータプロダクトを開発できるようにするにはどうしたらいいか? 12 アプローチ1 データプロダクトのテンプレートを提供する? アプローチ2 マルチクラウドプラットフォームを実装? Data Mesh by
Zhamak Dehghani, O‘Reilly Media, Inc. からの引用 • 標準アクセスパターンの実装(SQL, REST API, Steamなど) • 認証認可、グローバルポリシーに基づくアクセス制御の機能 • データオブザーバビリティ、メタデータの提供機能 などをテンプレートに埋め込むことで認知負荷を下げる。 テンプレートってどう作るのがベスト? 特に大企業だと複数のクラウドサービスを使っているの が普通、マルチクラウドでどう実現するか • 複数のクラウドを跨ぐメタデータの収集 © 2024 NTT DATA Group Corporation