モダンアプリケーションにおける分散トランザクションの動機と実装 @ AWS Dev Day 2023 Tokyo

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. モダンアプリケーションにおける分散トランザクションの動機と実装パターン Yuji Nomura E - 1 Senior Solutions Architect, Enterprise Majority Focused Amazon Web Service Japan

Slide 3

Slide 3 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本セッションについて • 話すこと • トランザクションの分離についての俯瞰的な考察 • (ほとんど)話さないこと • 各パターンの具体的な AWS サービス実装 • 対象聴衆 • マイクロサービスの設計イメージについて知りたい⽅ • 分散トランザクションの最近の状況について俯瞰的に知りたい⽅

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. デプロイの独⽴性とモダンアプリケーションの⽬的デプロイの独⽴性結果整合性トランザクションの分割俊敏性スケーラビリティ弾⼒性データレイヤーのプラクティスマイクロサービスアーキテクチャ

Slide 8

Slide 8 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Independently Deployable （デプロイの独⽴性・独⽴デプロイ可能性・独⽴してデプロイ可能） • コード単位 • 開発プロセス単位 • リソース単位ビルド・デプロイ開発プロセス Int main(void) { printf(”Hello, world!”); printf(“Bye, world!”); return 0; } コード ---------- ---------- ---------- ---------- ---------- bin bin 本番環境リソース

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. マイクロサービスにおけるデータレイヤーの設計デプロイの独⽴性結果整合性トランザクションの分割俊敏性スケーラビリティ弾⼒性データレイヤーのプラクティスマイクロサービスアーキテクチャ

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. (参考) トランザクションによる安全の保証 • ACID特性 • Atomicity (原⼦性) • Consistency • Isolation (分離性) • Durability 時間 Commit 変更 B 変更 A Read 変更 A は⾒えない Write

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. トランザクション分割の⽅針デプロイの独⽴性結果整合性トランザクションの分割俊敏性スケーラビリティ弾⼒性データレイヤーのプラクティスマイクロサービスアーキテクチャ

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ドメイン駆動設計（DDD） • 設計における意思決定とドメイン設計の議論における技術的な⽤語の広義のフレームワークを提供 • ユビキタス⾔語ービジネスドメインエキスパートと開発者の間の意思疎通として利⽤される⽤語によってモデリングと設計を⾏う • 戦略的な設計のためのガイドラインー境界づけられたコンテキスト、蒸留、⼤規模な構造の考察「エリック・エヴァンスのドメイン駆動設計」︓エリック・エバンス著 2011/4/9 翔泳社「実践ドメイン駆動設計」︓ヴォーン・ヴァーノン著 2015/3/16 翔泳社

Slide 26

Slide 26 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ドメイン駆動設計で定義される境界集約（Aggregate） • ⼀貫性（トランザクション）を保持する必要のある境界 • ⾃⼰完結した状態を管理する境界づけられたコンテキスト（Bounded Context） • 関連する集約のコレクション • より広い世界への明確なインターフェースを備える

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 開発者たちは、アトミックな変更が必須であると洗脳されているのが⼀般的だ。（しかし）ドメインエキスパートたちは整合性を保つのに時間がかかったとしても、それが合理的な遅延であれば受け⼊れてくれるものだ。実践ドメイン駆動設計 / Vaughn Vernon 第⼗章集約 10.5.「ルール︓境界の外部では結果整合性を⽤いる」

Slide 30

Slide 30 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. (参考) Consistency Model ⼀貫性モデル・整合性モデル • 強い整合性 • 例︓線形化可能性（Linearizability） • 変更が遅延なく伝わる • 評価順や読み取り順が仕組みによって制御される • 弱い整合性 • 例︓結果整合性（Eventual Consistency） • A であった変更が B にいつか伝わる • 過去の状態が⾒える • 全体として⼀致しない状態が制御できない形で表出する Consistencyって 200種類あんねん Linearizability External Consistency Quiescent Consistency Sequential Consistency Release Consistency Casual Consistency Processor Consistency PRAM Consistency Read Your Write Consistency Eventual Consistency Cache Consistency Slow Consistency Monotonic read Consistency Monotonic Write Consistency ……

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Saga パターン • もともと⻑命トランザクション（LLT）を扱うための⼿法 • 分散アプリケーションにおけるトランザクション管理の本命 • 失敗した時の補償トランザクションを含む • 考え⽅ • 分割されたトランザクションをそのまま順番に実⾏ • 失敗したらロールバックするまでを考える • サービスごとにトランザクションが決定するのが⾒える 1 2 -2 -1 3 OK OK OK NG NG rollback Commit

Slide 38

Slide 38 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Saga パターン 1 2 -2 -1 3 OK OK OK NG NG rollback Commit オーケストレーションオーケストレーター状態ストア実⾏実⾏実⾏サービスA サービスB サービスC サービス A サービス B サービス D コレオグラフィ Done ⾮同期的なトリガーサービス C

Slide 39

Slide 39 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Saga の上⼿な使い⽅ • トランザクションの境界に注意 • サービス間では Dirty Read が発⽣する • サービス内は ACID 特性を守ることができる • その他のテクニック • セマンティックロック（ロジック内のロック） • 冪等性サービス同⼠のトランザクション境界冪等性 A ⽤ B ⽤集約 1 集約 2 何回呼んでも同じ結果

Slide 40

Slide 40 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Saga の利⽤例 • ビジネストランザクションを中⼼に分割と補償を考える • 予約の仕組み • 引き落としと振込 • 注⽂と在庫確保予約⽀払払戻予約解放確定 OK OK 実施完了キャンセル⽀払失敗オーケストレーター予約⽀払予約サービス⽀払サービス予約管理サービス予約状況確認予約解放払戻

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 分散合意の使⽤例 in AWS Amazon DynamoDB の Multi-Paxos https://www.usenix.org/system/files/atc22-elhemali.pdf より Amazon Aurora のクォーラムシステム AWS Summit Tokyo 2018 セッションより

Slide 55

Slide 55 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. アプリケーションへの応⽤（分散コミット） • ⼆相コミット（2PC）のリスクロックの待ち時間によるレイテンシーの増加通信障害などによるロック状態の固定調停者調停者第1フェーズ第2フェーズ commit OK? OK! commit! 更新更新 commit OK? OK! commit! ロックロック故障しない故障がすぐわかる故障がそのうちわかる故障するが復旧する邪悪な⼈が邪魔をする故障モデル難しいここの障害に弱い

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Yuji Nomura Twitter : @ugnomura [email protected]

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 参考⽂献デプロイの独⽴性・マイクロサービスアーキテクチャ • マイクロサービスアーキテクチャ / Sam Newman ドメイン駆動設計 • エリック・エヴァンスのドメイン駆動設計 / Eric Evans • 実践ドメイン駆動設計 / Vaughn Vernon ⼀貫性モデル • データ指向アプリケーションデザイン / Martin Kleppman • 詳説データベース / Alex Petrov • The Art of Multiprocessor Programming / Maurice Herlihy Saga パターン • ソフトウェアアーキテクチャ・ハードパーツ / Neal Ford 他