徹底したDDD組織だからこそ実現したい Functional Data Mesh 構想

Slide 1

Slide 1 text

1 1 徹底したDDD組織だからこそ実現したい Functional Data Mesh構想 TECH PLAY DataConference 2024 Kenichi Suzuki Loglass Inc.

Slide 2

Slide 2 text

2 新卒でNTTデータに入社。アーキテクチャ設計や統括業務に従事した後、より堅牢な開発を求めてプログラム言語理論（型システム、関数型等）の研究に踏み込む。その後、よりセキュアな世界を目指して、Visional（BizReach）にてサイバーセキュリティ事業の立ち上げや開発をリード、ContractSにて開発部長、技術戦略室長、VP of Developmentを経て、2023年に株式会社ログラスにジョイン。 X: @_knih 株式会社ログラス鈴木健一 / Kenichi SUZUKI

Slide 3

Slide 3 text

3 Finally, safely-extensible and efficient language-integrated query PEPM '16: Proceedings of the 2016 ACM SIGPLAN Workshop on Partial Evaluation and Program ManipulationJanuary 2016 Pages 37–48https://doi.org/10.1145/2847538.2847542 Multi-Stage Programming、そして脆弱性レジリエンス × Clean Architecture https://engineering.visional.inc/blog/212/scalamatsuri2020-interview-msp/ 脆弱性レジリエンスを高めるための Clean Architecture https://yamory.io/blog/architecting-for-resilience/ エンタープライズアジャイル開発における品質管理とセキュリティ対策を yamoryで考える https://yamory.connpass.com/event/198588/ Scala3でコードは爆速になるマルチステージプログラミングの考え方 https://logmi.jp/tech/articles/324146 Dotty ではじめるマルチステージプログラミング入門 https://www.youtube.com/watch?v=gpQHgcIIzFY From Tagless-Final to Typed-Final: Program Transformations in the Final Style https://speakerdeck.com/dcubeio/from-tagless-final-to-typed-final-program-transformations-in-the-final-style ContractS Tech Book Vol.1 第8章　型の力で高品質にドメインをモデリングするー関数型DDDに向けてー. https://nextpublishing.jp/book/14565.html Publications …etc.

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

8 ところが

Slide 9

Slide 9 text

9 データがモノリシック

Slide 10

Slide 10 text

Slide 11

Slide 11 text

11 ©2024 Loglass Inc. 企業データの記録‧維持‧管理 SoR (System of Record) 正しい管理‧運⽤ PDCA∕ウォーターフォール顧客体験の向上アジャイルビジネスの創造（事業成⻑のための洞察） OODA 会計∕⼈事∕⽣産管理等々 CRM∕EC∕SNS BI/BigData 顧客や企業との関係構築 SoE (System of Engagement) SoI (System of Insight) 洞察‧発⾒意思決定の確認意思決定の⾃動化意思決定の⽀援３つのシステム形態：SoE, SoR, SoI

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

21 ©2024 Loglass Inc. Data Meshとはセルフサービスプラットフォームデータガバナンスコンプライアンス・プライバシーポリシー相互運用ポリシー（データ標準化）ドキュメントポリシーデータをプロダクトとして捉え、ドメインごとに完結したデータ基盤を持つアーキテクチおよびそれを構築するパラダイムベストプラクティス実装例チームへの提案イネーブリングセキュリティポリシーストレージ・クエリエンジンデータカタログデータ契約管理ポリシー自動化モニタリング・分析ツール分析データ契約運用データデータプロダクトドメインA ドメインB ドメインC ドメインD ドメインE Jochen Christ, ,Larysa Visengeriyeva, Simon Harrer, et al. DATA MESH ARCHITECTURE https://www.datamesh-architecture.com/ を参考に作成

Slide 22

Slide 22 text

22 ©2024 Loglass Inc. Data Mesh 4つの原則ドメイン指向オーナーシップセルフサービスデータ基盤データプロダクトマネジメント横断的データガバナンスデータを所有するのはドメインドメインごとに自律的にデータを管理・提供する。それぞれのドメインチームがそれぞれのデータ基盤を保守する。これにより、中央集権的な体制で出現するボトルネックを回避する。組織的なデータ管理を促進するプラットフォーム各ドメインが自律的にデータプロダクトを開発・運用できるように支援する機能を備え、セルフサービスでデータを扱えるようにする。データをプロダクトと同じに扱うデータをプロダクトとして他のチームや組織に提供する。提供先を顧客とみなし、データの信頼性確保や価値向上に努める。連合型の⾃動化されたガバナンス個人情報保護などの共通ルールやデータプロダクト開発のインセンティブを設計し、データエコシステム全体の最適化を行う。共通ルールを各データプロダクトの中に実装しつつ、各チームの代表がガバナンスチームとなり、中央集権的な体制を作らないことでデータが管理されていない状態になることを避ける。 1 2 3 4

Slide 23

Slide 23 text

23 ©2024 Loglass Inc. 1 ドメイン指向オーナーシップドメインドメインドメインサービスデータプロダクトデータプロダクトデータプロダクトデータプロダクトサービスサービスサービスデータガバナンスコンプライアンス・プライバシーポリシー相互運用ポリシー（データ標準化）ドキュメントポリシーセキュリティポリシーベストプラクティス実装例チームへの提案イネーブリングセルフサービスプラットフォームストレージ・クエリエンジンデータカタログデータ契約管理ポリシー自動化モニタリング・分析ツール ● データパイプラインを含めドメインチームでデータを所有する対して、従来はデータ基盤チームが一括で管理

Slide 24

Slide 24 text

24 ©2024 Loglass Inc. 2 セルフサービスデータ基盤　ー　各ドメインが利用する共通基盤セルフサービスプラットフォームデータガバナンスコンプライアンス・プライバシーポリシー相互運用ポリシー（データ標準化）ドキュメントポリシー ● データカタログをつくることで、全体としてデータ重複がないかを管理したり、閲覧権限制御を通したデータの取得を可能とするベストプラクティス実装例チームへの提案イネーブリングセキュリティポリシーストレージ・クエリエンジンデータカタログデータ契約管理ポリシー自動化モニタリング・分析ツールドメインドメインドメインサービスデータプロダクトデータプロダクトデータプロダクトデータプロダクトサービスサービスサービス

Slide 25

Slide 25 text

25 ©2024 Loglass Inc. 3 データプロダクトマネジメント ● データをプロダクトと同じように扱うデータガバナンスコンプライアンス・プライバシーポリシー相互運用ポリシー（データ標準化）ドキュメントポリシーセキュリティポリシーセルフサービスプラットフォームストレージ・クエリエンジンデータカタログデータ契約管理ポリシー自動化モニタリング・分析ツールドメインドメインサービスデータプロダクトデータプロダクトサービスサービスベストプラクティス実装例チームへの提案イネーブリングデータ契約データ品質、SLO 各チームがそのデータの信頼性を保証し、価値を提供する

Slide 26

Slide 26 text

26 ©2024 Loglass Inc. 4 横断的データガバナンスセルフサービスプラットフォームデータガバナンスコンプライアンス・プライバシーポリシー相互運用ポリシー（データ標準化）ドキュメントポリシー自動化されたガバナンス。共通ルールを各データプロダクトに実装する。ガバナンスチームは各チームの代表から成り、中央集権的な体制にしない。ベストプラクティス実装例チームへの提案イネーブリングセキュリティポリシーストレージ・クエリエンジンデータカタログデータ契約管理ポリシー自動化モニタリング・分析ツールドメインドメインドメインサービスデータプロダクトデータプロダクトデータプロダクトデータプロダクトサービスサービスサービス

Slide 27

Slide 27 text

27 そうは言ってもすべてを実装するのは大変そう

Slide 28

Slide 28 text

28 しかし、片手落ちになるとサイロ化の悪夢が…

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

32 ©2024 Loglass Inc. 関数型のスタイル ● 関数を組み合わせて目的のプログラムを構成するアプローチ ○ 関数と関数合成の性質によってモジュラリティの高いプログラムになる ○ SaaSプロダクト開発等、解像度を上げながら細かく改修していく場面で非常に有用 ○ （強力な型システムと組み合わせると安全性の高い開発がしやすくなる） ● 宣言的スタイル ● 純粋関数（副作用を避ける） ● イミュータブル ● 参照透過性

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

39 ©2024 Loglass Inc. 代数的データ型＝直積・直和の性質を持つデータ型 ● 直積（direct production, Cartesian product, デカルト積） ● 集合Aの要素aと、集合Bの要素bから作られるペア(a,b)の全体から成る集合 ○ A = {a,b,c}、B={1,2} A×B = {(a,1),(a,2), (b,1),(b,2), (c,1),(c,2)} case class RGB( red: Int, green: Int, blue: Int) 256 × 256 × 256 16,777,216通り例1 例2

Slide 40

Slide 40 text

40 ©2024 Loglass Inc. 代数的データ型＝直積・直和の性質を持つデータ型 ● 直和（direct sum, sum） ※Aから来た要素か、Bから来た要素かを区別するために、0や1 等のタグを付与する表現もある A⊕B = { (0,a) | a ∈ A } ∪ { (1,b) | b ∈ B } A⊕B = { a | a ∈ A } ∪ { (b) | b ∈ B } 　　ただし A ∩ B = { 0 } A = {a,b,c}、B={1,2} A⊕B = {a,b,c,1,2} 例1 例2 enum Color: case Red, Green, Blue, Yellow, Cyan 1+1+1+1+1 5通り

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

44 ©2024 Loglass Inc. Clean Architecture と関数型 Entities Controller G atew ay Presenter Use Cases UI W eb Devices D B External Interfaces Martin, R. C. (2017). Clean Architecture: A Craftsman's Guide to Software Structure and Design. Prentice Hall.

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

48 ©2024 Loglass Inc. Clean Architecture と関数型 Entities Controller G atew ay Presenter Use Cases UI W eb Devices D B External Interfaces 怪しいデータデータ正規化 Validation サニタイズ Validなデータ代数的データ型等で精密に取り扱う領域を型で表現関数型のアプローチを使うことによって、データ品質を担保しやすいアーキテクチャにできる

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

51 ©2024 Loglass Inc. 合成可能性によって、プログラムに柔軟性がもたらされる関数の単位でデータ変換の正しさが保証されている ● 品質を担保しながら、プログラムを容易に組み換えできる f: A → B h: B → D g○h: A → D A B C f g g○h D h g: B → C 組み換えが容易巨⼤なETLパイプラインを⼩さい単位で分割することで、 ETLに品質と柔軟性をもたらす

Slide 52

Slide 52 text

Slide 53

Slide 53 text

53 ©2024 Loglass Inc. 関数型アーキテクチャ関数型と型の恩恵アプリケーションデータパイプライン変更容易性正確性履行容易性（契約の権利・義務）合成可能性型表現力型安全性ドメイン指向オーナーシップセルフサービスデータ基盤データプロダクトマネジメント横断的データガバナンス依存関係をコントロールしやすくモジュラー型安全により契約を担保しやすい品質をコントロールしやすいため、改善サイクルを回しやすい Data Mesh 4原則