Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第8回DataMeshLT#3 DataMeshの実践と難しさ
Search
SnowflakeDataManagementJP
June 07, 2024
Technology
2
150
第8回DataMeshLT#3 DataMeshの実践と難しさ
SnowflakeUserGroupデタマネコミュニティ第8回活動で利用したLT資料の5本中3本目を公開します!
SnowflakeDataManagementJP
June 07, 2024
Tweet
Share
More Decks by SnowflakeDataManagementJP
See All by SnowflakeDataManagementJP
第8回DataMeshLT#4 Snowflake-データメッシュガバナンス
sfdmt
1
370
第8回DataMeshLT#5 データメッシュの魅力:原則から拓く新たな道
sfdmt
1
250
第8回DataMeshLT#1 DataMeshって?
sfdmt
0
89
第8回DataMeshLT#2 とあるエンプラ企業への DataMesh適用シミュレーション
sfdmt
3
170
第6回 データを売ることの『夢』と『現実』
sfdmt
0
930
第5回データ人材 ~エンプラ企業にいそうなヤバイやつ~
sfdmt
0
510
第3回データモデリング?どのレベルでやるの?
sfdmt
3
2k
第2回データドリブン文化醸成〜組織を変えるには〜
sfdmt
2
340
第1回データ品質のお悩みと解決方法を考えてみた
sfdmt
2
910
Other Decks in Technology
See All in Technology
自作LLM Native GORM Pluginで実現する AI Agentバックテスト基盤構築
po3rin
2
290
LLM時代にデータエンジニアの役割はどう変わるか?
ikkimiyazaki
4
960
多野優介
tanoyusuke
1
470
生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術.pdf
cm_mikami
0
120
英語は話せません!それでも海外チームと信頼関係を作るため、対話を重ねた2ヶ月間のまなび
niioka_97
0
130
JAZUG 15周年記念 × JAT「AI Agent開発者必見:"今"のOracle技術で拡張するAzure × OCIの共存アーキテクチャ」
shisyu_gaku
0
130
o11yで育てる、強い内製開発組織
_awache
3
120
Findy Team+のSOC2取得までの道のり
rvirus0817
0
380
神回のメカニズムと再現方法/Mechanisms and Playbook for Kamikai scrumat2025
moriyuya
4
600
SOC2取得の全体像
shonansurvivors
1
410
ユニットテストに対する考え方の変遷 / Everyone should watch his live coding
mdstoy
0
130
GC25 Recap+: Advancing Go Garbage Collection with Green Tea
logica0419
1
430
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
56
14k
A designer walks into a library…
pauljervisheath
209
24k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Rails Girls Zürich Keynote
gr2m
95
14k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
How GitHub (no longer) Works
holman
315
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Raft: Consensus for Rubyists
vanstee
139
7.1k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Transcript
© 2024 NTT DATA Group Corporation DataMeshの 実践と難しさ 株式会社NTTデータグループ 大山
真実 2024/05/10デタマネ会#8 LT&ディスカッション What is ”DataMesh”…? Date
自己紹介 株式会社NTTデータグループ 技術革新統括本部 システム技術本部 Data & Intelligence 技術部 課長 ©
2024 NTT DATA Group Corporation 2 大山 真実 主な業務 • データプラットフォームのコンサルティング • Data&AI領域の技術開発とグローバル展開 主な経歴 • NTTデータ入社後、Hadoopなどビッグデータ基盤に携わる • NTT OSSセンターにて、PostgreSQLの研究開発 • 米国データベース企業に出向、テクニカルサポート担当 • 自動車メーカー出向、データプラットフォームアーキテクト
DataMeshとは? #1 3 © 2024 NTT DATA Group Corporation
改めて、DataMeshとは? 4 中央集権型プラットフォームのボトルネック問題を解消する自律分散型データプラットフォームのコンセプト データ所有者はデータをプロダクトとみなし、 データ利用者が満足するデータ提供を最優先とすることで、 ユーザーによる利活用促進を実現する。 データ管理の責任/意思 決定権をドメインに委任。 “自律的に行動可能とす る”ことで、アジリ
ティー向上。 データの流れ 従来のデータプラットフォーム データメッシュ 中央集権的にデータを管理することで、最適化を目指す。 ただし中央組織がボトルネックとなる問題が 増えてきた。 データベース データ収集 データ蓄積 データ加工 データ活用 © 2024 NTT DATA Group Corporation
DataMeshの4原則 5 自律分散によってアジリティを高めるための4原則 Domain Oriented Ownership •業務ドメインごとに自律的にデータを管理し他の組織に提供。中央組織に頼らずに データを管理・提供することでボトルネックを回避。 Data as
a Product •データを製品として他の組織に提供。つまり、データの連携先を顧客と捉えること で、データの説明責任と信頼性を確保。これによってデータの管理を各ドメインに 任せることによって生じるサイロ化の問題を回避 。 Self-Service Data Platform •各ドメインが独力でデータプロダクトを開発・運用できるよう支援する機能と、 データ利用者がセルフサービスでデータを扱える機能を備えたプラットフォームを 提供。ITの専門家でなくても使いやすいプラットフォームを提供することで、各ド メインが自分たちでデータを管理・利用することによるコストの増加、人材確保の 難しさを緩和。 Federated Computational Governance •個人情報保護などの共通ルールやデータプロダクト開発のインセンティブを設計す ることで全体最適化。共通ルールは中央で管理・統制されるのではなく各データプ ロダクトの中に実装する。中央集権的な体制がないことでデータが管理されていな い状態になることを回避。 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 © 2024 NTT DATA Group Corporation
DataMeshの特徴 6 ソフトウェアエンジニアリングに関する最新のベストプラクティスをデータエンジニアリングに適用 Sociotechnicalアプローチ (社会技術アプローチ) ドメイン駆動設計(戦略) チームトポロジー • 組織と人を複雑な相互依存する1つのシス テムとして扱う
• 逆コンウェイの法則 社会技術理論–心理的安全性 (psychsafety.co.uk) “DataMesh”という技術があるわけでないことに注意 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 • 全組織共通の、単一の統合されたデータ モデルを構築するのは効果的でないし、 実現可能でもない • 「境界付けられたコンテキスト」で分割 • チームとチーム間のコミュニケーション、 データプロダクトとデータアクセスにパ ターンを作る • コミュニケーションの複雑性を下げる 【資料公開】30分で分かった気になるチームトポロジー | Ryuzee.com © 2024 NTT DATA Group Corporation
DataMesh実現へのアプローチ #2 7 © 2024 NTT DATA Group Corporation
実際やろうとするとDataMesh難しい… 8 組織と技術の観点で主な難しいポイント 組織的な難しいポイント 技術的な難しいポイント • 従来の役割分担からの 抜本的な変更 • セルフサービスデータ
プラットフォームの実装 非専門家でもデータプロダクトを開発でき るようにするにはどうしたらいいか? • マルチクラウドでの実践 © 2024 NTT DATA Group Corporation
© 2024 NTT DATA Group Corporation 組織観点の難しさ:従来の役割分担からの抜本的な変更 9 組織間の役割分担、責任境界を変えるというのは本当に難しい、DataMeshの難しさはこれに集約される 業務システム、データソースの人たちはデータプロダクトの
プロダクトオーナーに • 日本の大企業ではベンダーに開発を依頼するのが普通、 ベンダーがデータプロダクトを開発するのか?自社社 員がやるのか? • プロダクトマネジメントの実践…本業が忙しい中、そ んな余裕はあるのか? 情報システム部門やデータスチュワードはセルフサービス データプラットフォームの提供や教育などのサポートに • 事業部門の要件に従ったシステム開発からプラット フォームをプロダクトとして提供するという、一般的 な情報システム部門がこれまでやってこなかったやり 方 • プラットフォームエンジニアリングの難しさ データ利用者は自分たちでデータの取り出しや分析データモ デルの作成などをやらないといけない 「共通基盤」を超えよ! 今、Platform Engineeringに取り組むべ き理由 - Speaker Deck by Kazuto Kusama/@jacopen
アプローチ1:志のある人たちで小さく始める 10 具体的に1つのユースケースを対象として、 DataMeshのコンセプトに沿った役割分担に変え、 実装してみる Data Management at Scale, 2nd
Edition By Piethein Strengholt O‘Reilly Media, Inc. より引用 データ収集 データ蓄積 データ加工 データ活用 ユースケースを拡大していきながら自組織に合った トポロジーを見つけていく ※この図はあくまでも イメージです トポロジーの例 Self-Service Data Platform © 2024 NTT DATA Group Corporation
アプローチ2:象徴的な成果をアピールする 11 例えば、データマーケットプレイス/データエクスチェンジを社内に公開する 私の経験ではデータマーケットプレ イスに少数でもいいのでデータプロ ダクトが並ぶと、それきっかけで DataMeshの取り組みが周知され、 みんなの関心を惹くようになる 社内向けデータマーケットプレイス/エクスチェンジとは? ▪
データプロダクトの発見と、アクセス申請のワークフローを管理するツール ▪ 一般のビジネスユーザーにもわかりやすいシンプルな画面 ▪ よく使われるデータプロダクトを目立たせることによって最適化 https://aws.amazon.com/jp/blogs/big-data/design-a-data- mesh-architecture-using-aws-lake-formation-and-aws-glue/ © 2024 NTT DATA Group Corporation
技術観点の難しさ:セルフサービスデータプラットフォームの実装 非専門家でもデータプロダクトを開発できるようにするにはどうしたらいいか? 12 アプローチ1 データプロダクトのテンプレートを提供する? アプローチ2 マルチクラウドプラットフォームを実装? Data Mesh by
Zhamak Dehghani, O‘Reilly Media, Inc. からの引用 • 標準アクセスパターンの実装(SQL, REST API, Steamなど) • 認証認可、グローバルポリシーに基づくアクセス制御の機能 • データオブザーバビリティ、メタデータの提供機能 などをテンプレートに埋め込むことで認知負荷を下げる。 テンプレートってどう作るのがベスト? 特に大企業だと複数のクラウドサービスを使っているの が普通、マルチクラウドでどう実現するか • 複数のクラウドを跨ぐメタデータの収集 © 2024 NTT DATA Group Corporation