Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第8回DataMeshLT#3 DataMeshの実践と難しさ
Search
SnowflakeDataManagementJP
June 07, 2024
Technology
1
88
第8回DataMeshLT#3 DataMeshの実践と難しさ
SnowflakeUserGroupデタマネコミュニティ第8回活動で利用したLT資料の5本中3本目を公開します!
SnowflakeDataManagementJP
June 07, 2024
Tweet
Share
More Decks by SnowflakeDataManagementJP
See All by SnowflakeDataManagementJP
第8回DataMeshLT#4 Snowflake-データメッシュガバナンス
sfdmt
1
150
第8回DataMeshLT#5 データメッシュの魅力:原則から拓く新たな道
sfdmt
0
200
第8回DataMeshLT#1 DataMeshって?
sfdmt
0
41
第8回DataMeshLT#2 とあるエンプラ企業への DataMesh適用シミュレーション
sfdmt
2
91
第6回 データを売ることの『夢』と『現実』
sfdmt
0
820
第5回データ人材 ~エンプラ企業にいそうなヤバイやつ~
sfdmt
0
450
第3回データモデリング?どのレベルでやるの?
sfdmt
3
1.8k
第2回データドリブン文化醸成〜組織を変えるには〜
sfdmt
2
240
第1回データ品質のお悩みと解決方法を考えてみた
sfdmt
2
790
Other Decks in Technology
See All in Technology
リーダブルテストコード 〜メンテナンスしやすい テストコードを作成する方法を考える〜 #DevSumi #DevSumiB / Readable test code
nihonbuson
11
7.2k
データの品質が低いと何が困るのか
kzykmyzw
6
1.1k
Oracle Cloud Infrastructure:2025年2月度サービス・アップデート
oracle4engineer
PRO
1
210
抽象化をするということ - 具体と抽象の往復を身につける / Abstraction and concretization
soudai
16
6.5k
ハッキングの世界に迫る~攻撃者の思考で考えるセキュリティ~
nomizone
13
5.2k
2024.02.19 W&B AIエージェントLT会 / AIエージェントが業務を代行するための計画と実行 / Algomatic 宮脇
smiyawaki0820
13
3.4k
管理者しか知らないOutlookの裏側のAIを覗く#AzureTravelers
hirotomotaguchi
2
410
2/18/25: Java meets AI: Build LLM-Powered Apps with LangChain4j
edeandrea
PRO
0
120
次世代KYC活動報告 / 20250219-BizDay17-KYC-nextgen
oidfj
0
260
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
740
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
130
室長と気ままに学ぶマイクロソフトのビジネスアプリケーションとビジネスプロセス
ryoheig0405
0
360
Featured
See All Featured
Building an army of robots
kneath
303
45k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Speed Design
sergeychernyshev
27
790
The Invisible Side of Design
smashingmag
299
50k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
A Modern Web Designer's Workflow
chriscoyier
693
190k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.2k
Fireside Chat
paigeccino
34
3.2k
Transcript
© 2024 NTT DATA Group Corporation DataMeshの 実践と難しさ 株式会社NTTデータグループ 大山
真実 2024/05/10デタマネ会#8 LT&ディスカッション What is ”DataMesh”…? Date
自己紹介 株式会社NTTデータグループ 技術革新統括本部 システム技術本部 Data & Intelligence 技術部 課長 ©
2024 NTT DATA Group Corporation 2 大山 真実 主な業務 • データプラットフォームのコンサルティング • Data&AI領域の技術開発とグローバル展開 主な経歴 • NTTデータ入社後、Hadoopなどビッグデータ基盤に携わる • NTT OSSセンターにて、PostgreSQLの研究開発 • 米国データベース企業に出向、テクニカルサポート担当 • 自動車メーカー出向、データプラットフォームアーキテクト
DataMeshとは? #1 3 © 2024 NTT DATA Group Corporation
改めて、DataMeshとは? 4 中央集権型プラットフォームのボトルネック問題を解消する自律分散型データプラットフォームのコンセプト データ所有者はデータをプロダクトとみなし、 データ利用者が満足するデータ提供を最優先とすることで、 ユーザーによる利活用促進を実現する。 データ管理の責任/意思 決定権をドメインに委任。 “自律的に行動可能とす る”ことで、アジリ
ティー向上。 データの流れ 従来のデータプラットフォーム データメッシュ 中央集権的にデータを管理することで、最適化を目指す。 ただし中央組織がボトルネックとなる問題が 増えてきた。 データベース データ収集 データ蓄積 データ加工 データ活用 © 2024 NTT DATA Group Corporation
DataMeshの4原則 5 自律分散によってアジリティを高めるための4原則 Domain Oriented Ownership •業務ドメインごとに自律的にデータを管理し他の組織に提供。中央組織に頼らずに データを管理・提供することでボトルネックを回避。 Data as
a Product •データを製品として他の組織に提供。つまり、データの連携先を顧客と捉えること で、データの説明責任と信頼性を確保。これによってデータの管理を各ドメインに 任せることによって生じるサイロ化の問題を回避 。 Self-Service Data Platform •各ドメインが独力でデータプロダクトを開発・運用できるよう支援する機能と、 データ利用者がセルフサービスでデータを扱える機能を備えたプラットフォームを 提供。ITの専門家でなくても使いやすいプラットフォームを提供することで、各ド メインが自分たちでデータを管理・利用することによるコストの増加、人材確保の 難しさを緩和。 Federated Computational Governance •個人情報保護などの共通ルールやデータプロダクト開発のインセンティブを設計す ることで全体最適化。共通ルールは中央で管理・統制されるのではなく各データプ ロダクトの中に実装する。中央集権的な体制がないことでデータが管理されていな い状態になることを回避。 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 © 2024 NTT DATA Group Corporation
DataMeshの特徴 6 ソフトウェアエンジニアリングに関する最新のベストプラクティスをデータエンジニアリングに適用 Sociotechnicalアプローチ (社会技術アプローチ) ドメイン駆動設計(戦略) チームトポロジー • 組織と人を複雑な相互依存する1つのシス テムとして扱う
• 逆コンウェイの法則 社会技術理論–心理的安全性 (psychsafety.co.uk) “DataMesh”という技術があるわけでないことに注意 Data Mesh by Zhamak Dehghani, O‘Reilly Media, Inc. より引用 • 全組織共通の、単一の統合されたデータ モデルを構築するのは効果的でないし、 実現可能でもない • 「境界付けられたコンテキスト」で分割 • チームとチーム間のコミュニケーション、 データプロダクトとデータアクセスにパ ターンを作る • コミュニケーションの複雑性を下げる 【資料公開】30分で分かった気になるチームトポロジー | Ryuzee.com © 2024 NTT DATA Group Corporation
DataMesh実現へのアプローチ #2 7 © 2024 NTT DATA Group Corporation
実際やろうとするとDataMesh難しい… 8 組織と技術の観点で主な難しいポイント 組織的な難しいポイント 技術的な難しいポイント • 従来の役割分担からの 抜本的な変更 • セルフサービスデータ
プラットフォームの実装 非専門家でもデータプロダクトを開発でき るようにするにはどうしたらいいか? • マルチクラウドでの実践 © 2024 NTT DATA Group Corporation
© 2024 NTT DATA Group Corporation 組織観点の難しさ:従来の役割分担からの抜本的な変更 9 組織間の役割分担、責任境界を変えるというのは本当に難しい、DataMeshの難しさはこれに集約される 業務システム、データソースの人たちはデータプロダクトの
プロダクトオーナーに • 日本の大企業ではベンダーに開発を依頼するのが普通、 ベンダーがデータプロダクトを開発するのか?自社社 員がやるのか? • プロダクトマネジメントの実践…本業が忙しい中、そ んな余裕はあるのか? 情報システム部門やデータスチュワードはセルフサービス データプラットフォームの提供や教育などのサポートに • 事業部門の要件に従ったシステム開発からプラット フォームをプロダクトとして提供するという、一般的 な情報システム部門がこれまでやってこなかったやり 方 • プラットフォームエンジニアリングの難しさ データ利用者は自分たちでデータの取り出しや分析データモ デルの作成などをやらないといけない 「共通基盤」を超えよ! 今、Platform Engineeringに取り組むべ き理由 - Speaker Deck by Kazuto Kusama/@jacopen
アプローチ1:志のある人たちで小さく始める 10 具体的に1つのユースケースを対象として、 DataMeshのコンセプトに沿った役割分担に変え、 実装してみる Data Management at Scale, 2nd
Edition By Piethein Strengholt O‘Reilly Media, Inc. より引用 データ収集 データ蓄積 データ加工 データ活用 ユースケースを拡大していきながら自組織に合った トポロジーを見つけていく ※この図はあくまでも イメージです トポロジーの例 Self-Service Data Platform © 2024 NTT DATA Group Corporation
アプローチ2:象徴的な成果をアピールする 11 例えば、データマーケットプレイス/データエクスチェンジを社内に公開する 私の経験ではデータマーケットプレ イスに少数でもいいのでデータプロ ダクトが並ぶと、それきっかけで DataMeshの取り組みが周知され、 みんなの関心を惹くようになる 社内向けデータマーケットプレイス/エクスチェンジとは? ▪
データプロダクトの発見と、アクセス申請のワークフローを管理するツール ▪ 一般のビジネスユーザーにもわかりやすいシンプルな画面 ▪ よく使われるデータプロダクトを目立たせることによって最適化 https://aws.amazon.com/jp/blogs/big-data/design-a-data- mesh-architecture-using-aws-lake-formation-and-aws-glue/ © 2024 NTT DATA Group Corporation
技術観点の難しさ:セルフサービスデータプラットフォームの実装 非専門家でもデータプロダクトを開発できるようにするにはどうしたらいいか? 12 アプローチ1 データプロダクトのテンプレートを提供する? アプローチ2 マルチクラウドプラットフォームを実装? Data Mesh by
Zhamak Dehghani, O‘Reilly Media, Inc. からの引用 • 標準アクセスパターンの実装(SQL, REST API, Steamなど) • 認証認可、グローバルポリシーに基づくアクセス制御の機能 • データオブザーバビリティ、メタデータの提供機能 などをテンプレートに埋め込むことで認知負荷を下げる。 テンプレートってどう作るのがベスト? 特に大企業だと複数のクラウドサービスを使っているの が普通、マルチクラウドでどう実現するか • 複数のクラウドを跨ぐメタデータの収集 © 2024 NTT DATA Group Corporation