AWSにおけるマイクロサービスとNoSQLの活用 /microservice architecture with NoSQL on AWS

Slide 1

Slide 1 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. Atsushi Fukui Senior Solutions Architect Developer Specialist - DevAx Amazon Web Services Japan AWSにおけるマイクロサービスと NoSQLの活⽤ D E V E L O P E R X N O S Q L N I G H T

Slide 2

Slide 2 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. ⾃⼰紹介 v名前 v福井厚（ふくいあつし）twitter: afukui@ v所属 vアマゾンウェブサービスジャパン合同会社 vシニアソリューションアーキテクト vDeveloperスペシャリスト - DevAx v関⼼領域 vソフトウェアアーキテクチャ、オブジェクト指向設計、アジャイル開発 v好きなAWSサービス vサーバーレステクノロジー全般、 AWS Code シリーズ

Slide 3

Slide 3 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. セッションを始める前に • このセッションはマイクロサービスを推奨するものではありません • 他のすべてのアーキテクチャと同様に、マイクロサービスも選択肢のひとつであり、メリット、デメリットがあります • マイクロサービスアーキテクチャもシステムの⽬的と要件を踏まえた上で、ひとつの選択肢としてお考えください

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. マイクロサービスの性質疎結合で、独⽴性が⾼い • 独⽴してデプロイ可能 • つまり各サービスが疎結合 • ビジネスモデルの境界に沿って分割 • Web 三層 ⇔ ドメインモデル • 技術的な境界に沿って分割しない • 変更要求に対し、複数のサービスを横断してデプロイすることになる • 各サービスが⾃⾝でデータを所有する • データベースを共有しない • データはWeb APIやイベントなどで受け渡す『マイクロサービスアーキテクチャ第2班』オライリー・ジャパン、2022

Slide 9

Slide 9 text

Slide 10

Slide 10 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 『』 “…innovation is now recognized as the single most important ingredient in any modern economy…” イノベーションこそが近代経済において最も重要な要素と考えられている。競合よりも早く、新しい波を創っていくことが重要

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. マイクロサービスに変更する理由アジリティ各機能を他の機能のリリースを調整せずにリリースできるようになるチームの⾃律性チームの規模が⼩さくなることでコミュニケーションコストが減る⾃⾝のサービスを完全にコントロールでき、⾃律的⾃発的な機能改善に繋がるスケーリング負荷が⾼い機能のみをスケーリングすることができる堅牢性負荷が⾼まったとき、リリースによる障害などの影響が単⼀のサービスにとどまり、アプリケーション全体としての堅牢性が⾼まる採⽤技術の柔軟性各サービス毎に異なる⾔語やアーキテクチャ(VM/コンテナ/サーバーレス/etc)を採⽤できる

Slide 14

Slide 14 text

Slide 15

Slide 15 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. マイクロサービスのトレードオフ分散システムに伴う複雑性ネットワーク呼出による連携となり、モノリシックシステムでメソッドを呼び出すときには発⽣しなかった考慮点が発⽣するネットワークのエラーや遅延、呼出先のダウン、障害発⽣時のトラブルシューティングなど整合性の担保モノリシックなシステムではトランザクションで容易に強⼒な整合性を担保できるマイクロサービスで同様の整合性は担保できないマイクロサービスの統廃合やリファクタリングが困難モノリスではIDEの機能で⾃動的にインターフェースやクラスの分割、抽出、統合が可能で、データスキーマも整理可能マイクロサービスでは、そのような統廃合は複数のサービスチームの調整やデータの移管が必要

Slide 16

Slide 16 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. トレードオフの対策分散システムに伴う複雑性⾮同期なイベント駆動で連携したり、同期API呼出の場合はサービスメッシュを利⽤する整合性の担保整合性が必要な単位でマイクロサービスを分割しないどこで整合性が必要なのか、ビジネスのモデリングが必要サーガパターンなど、結果整合性を担保するデザインパターンを利⽤するマイクロサービスの統廃合やリファクタリングが困難統廃合がなるべく発⽣しないよう、ビジネスのモデリングが必要

Slide 17

Slide 17 text

Slide 18

Slide 18 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. チーム内に意思決定する権限がない • ビジネス的な価値を提供するために、どの機能を優先的にリリースするかをチームで決定できない • ユーザーからのフィードバックを受けて何をどのように改善するかを決定できない • チームが⾃律的に⾏動できる組織になっていない

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. ドメイン駆動設計 (DDD) とは • ⾼品質なソフトウェアモデルを設計するためのソフトウェア開発⼿法 • ユビキタス⾔語ービジネスドメインエキスパートと開発者の間の意思疎通として利⽤される⽤語によってモデリングと設計を⾏う • 戦略的な設計のためのガイドラインー境界づけられたコンテキスト、蒸留、⼤規模な構造の考察 • 戦術的な設計 – 集約、エンティティ、値オブジェクト、ドメインサービス「エリック・エヴァンスのドメイン駆動設計」：エリック・エバンス著 2011/4/9 翔泳社「実践ドメイン駆動設計」：ヴォーン・ヴァーノン著 2015/3/16 翔泳社

Slide 26

Slide 26 text

Slide 27

Slide 27 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 境界づけられたコンテキスト • 境界づけられたコンテキストは特定の • モデルを適⽤できる限定された範囲。 • コンテキストの境界を定めることで、 • チームメンバーは何を⼀致させるべきで何を独⽴して開発できるのかについての理解を明確化し、共有できる。 https://www.martinfowler.com/bliki/BoundedContext.html Customer Ticket Product Product version Customer Product Territory Opportunity Pipeline Salesperson Defect Sales context Support context

Slide 28

Slide 28 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. コンテキストマップ Sales context Support context Marketing context 境界つけられたコンテキストだけでは、ドメインの全体像を⽰すことはできない。コンテキストマップは、境界づけられたコンテキストを統合することにより、異なるが関連するユビキタス⾔語のマッピングを処理する。 DDDでは境界づけられたコンテキストを統合するための７つのパターンを説明 • 共有カーネル (Shared Kernel) • 顧客/供給者の開発チーム (Customer/Supplier Development Teams) • 順応者 (Conformist) • 腐敗防⽌層 (Anticorruption layer) • 別々の道 (Separate ways) • 公開ホストサービス (Open/Host service) • 公表された⾔語 (Published language)

Slide 29

Slide 29 text

Slide 30

Slide 30 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. モデル駆動設計を構成する⾔語のナビゲーションマップモデル駆動設計サービスエンティティ値オブジェクトファクトリ集約リポジトリ利⼝なUI モデルを表現するのに使⽤するモデルを表現するのに使⽤するモデルを表現するのに使⽤する排他的な選択アクセスするのに使⽤する整合性を保つのに使⽤するアクセスするのに使⽤するルートとして機能するカプセル化するのに使⽤するカプセル化するのに使⽤するカプセル化するのに使⽤するカプセル化するのに使⽤するレイヤ化アーキテクチャドメインを隔離するのに使⽤する

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. データソースをサービスの所有ごとに分割⽀払いオークション在庫共有されているモノリシックデータベースモノリシックシステム⽀払いオークション在庫商品や顧客などもサービスによって利⽤する属性が異なるので、それぞれのサービスの所有するデータへ移⾏する。データソースの移⾏計画も検討。顧客マスタ配送顧客⼊札顧客⽀払顧客

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. ⼀般的なデータモデルとユースケースリレーショナル参照整合性、 ACID トランザクション、スキーマオンライトリフト・アンド・シフト、ERP、 CRM、ファイナンスキーバリュー⾼スループット、低レイテンシーの読み取り/書き込み、スケーラビリティリアルタイム⼊札、ショッピングカート、ソーシャル、製品カタログ、お気に⼊りドキュメントドキュメントを保存し、あらゆる属性のクエリにすばやくアクセスコンテンツ管理、パーソナライズ、モバイルインメモリミリ秒のレイテンシでのキーによるクエリリーダーボード、リアルタイム分析、キャッシンググラフ各データの関連性の素早く簡単な⽣成とその間の移動不正検出、ソーシャルネットワーキング、レコメンデーションエンジン時系列時間的に連続したデータの収集、保存、処理 IoT アプリ、イベント追跡元帳アプリケーションデータに対するすべての変更の完全で不変で検証可能な履歴システム記録、サプライチェーン、ヘルスケア、登録、ファイナンス⼀般的な使⽤事例データモデルワイドカラムスケーラブル、⾼可⽤性、マネージド Apache Cassandra ̶ 互換サービス低レイテンシーのアプリを構築し、オープンソースを活⽤し、 Cassandra をクラウドに移⾏する Amazon Aurora Amazon RDS Amazon DynamoDB Amazon documentDB Amazon Timestream Amazon Neptune Amazon ElastiCach e Amazon QLDB Amazon キースペース (Apache カサンドラ⽤) Redis ⽤ Amazon MemoryD B

Slide 44

Slide 44 text

Slide 45

Slide 45 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. Amazon DynamoDB SQL-ストレージに最適化 NoSQL-コンピューティングに最適化正規化/リレーショナル⾮正規化/階層アドホッククエリインスタンス化されたビュー垂直⽅向にスケール⽔平⽅向にスケール OLAPに適している⼤規模な OLTP* 向けに構築 (*) DynamoDBについて。分析ワークロード⽤の NoSQL データベースも⼀部ある

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 本⽇は時間の関係で割愛。以下のセッションを参照 https://www.youtube.com/watch?v=DIQVJqiSUkE Alex DeBrieさんの re:Invent 2019のセッションがとても分かりやすいのでぜひこちらをご覧ください。

Slide 49

Slide 49 text

Slide 50

Slide 50 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. DynamoDB ̶ 追加機能 • Auto Scaling ̶ 予想によるプロビジョニングが不要に • オンデマンドキャパシティ ̶ リクエストに合わせてDDBの料⾦を⽀払うことができ、事前のキャパシティ計画が不要 • TTL ̶ 有効期限による⾃動削除 • アダプティブキャパシティ ̶ 不均質なアクセスに⾃動的に対応 • DAX ̶ DynamoDB アクセラレータ

Slide 51

Slide 51 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. DynamoDB ローカル ̶ 開発者向け • ネットワーク接続や AWS へのアクセスは不要 • 完全な DynamoDB API をサポートするクライアント側データベース • 実⾏可能な Java アーカイブ (JAR) ファイルとして利⽤可能 • Windows、Mac、および Linux システムのサポート AWS.config.dynamodb ={ endpoint: config.debug.dynamoDBLocalEndpoint, region: config.region };

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. パーティション 1 1000 WCU ⼈気のある候補 A ⼈気のある候補 B 50,000/ 秒 200,000 WCU のプロビジョニングキーは「ホット」になり、パーティションで使⽤可能な WCU を使い切る 70,000/ 秒「Votes」テーブルリアルタイム投票の例パーティション K 1000 WCU パーティション M 1000 WCU パーティション N 1000 WCU 有権者 200⼈の候補に投票する

Slide 57

Slide 57 text

Slide 58

Slide 58 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. Candidate A_2 Candidate B_1 Candidate B_2 Candidate B_3 Candidate B_5 Candidate B_4 Candidate B_7 Candidate B_6 Candidate A_1 Candidate A_3 Candidate A_4 Candidate A_7 Candidate B_8 Candidate A_6 Candidate A_8 Candidate A_5 任意の ID （ただし決定論的）をパーティションキーに追加して、書き込みをシャード UpdateItem:「CandidateA_」+rand(0, 10) 投票に 1 を追加書き込みシャーディング有権者「Votes」テーブル

Slide 59

Slide 59 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. Candidate A_2 Candidate B_1 Candidate B_2 Candidate B_3 Candidate B_5 Candidate B_4 Candidate B_7 Candidate B_6 Candidate A_1 Candidate A_3 Candidate A_4 Candidate A_5 Candidate A_6 Candidate A_8 Candidate A_7 Candidate B_8 定期的なプロセス候補 A 合計 :2,500M 1.Sum 2.保存集計結果を読み取る「Scatter&Gather」有権者「Votes」テーブル

Slide 60

Slide 60 text

Slide 61

Slide 61 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 製品 A 製品 B 70,000/ 秒⼈気商品による不均等なアクセスパターン製品カタログ - ⼈気商品 Shoppers ProductCatalog テーブルパーティション 1 2000 WCU パーティション K 2000 WCU パーティション M 2000 WCU パーティション N 2000 WCU

Slide 62

Slide 62 text

Slide 63

Slide 63 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. フルマネージド、⾼可⽤性、インメモリキャッシュ Java, .NET, Python, Go & Javascript をサポートクラスターベース、マルチ AZ クエリとアイテムのキャッシュを分離 DynamoDB Accelerator (DAX)

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. まとめ • マイクロサービスは変化に素早く対応し、フィードバックを得て改善を重ねるビジネスにマッチしている • マイクロサービスにはトレードオフがあり、マイクロサービスに適した組織にする必要がある • マイクロサービスは機能や技術スタックによる分割ではなくドメインによる分割を⾏う • マイクロサービスではデータソースの選択もポイントのひとつ • Amazon DynamoDBを活⽤するためにはRDBMSの概念を捨てることも必要

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 参考︓チームトポロジーストリームアラインドチームストリームアラインドチームストリームアラインドチーム共有サービスプラットフォームチーム内部プラットフォームチーム ][ セキュリティコミュニティ・オブ・プラクティス(CoP) プラットフォーム + ツール )( )( フィールドチーム (サポート、ソリューションアーキテクト、営業) O 製品機能のリクエストストリームアラインドチームビジネスに沿った⽬標を持つチームイネーブリングチームストリームアラインドチームが障害を克服するのを⽀援。コンプリケイテッド・サブシステムチーム専⾨性が必要な機能を担当する専⾨スキルを持つチームコラボレーションファシリテーション O )( フェデレーションサービス (X-as-a-Service) ][ データサイエンスチームサービスとしてのプラットフォームキー: )( )( ][ * マシュー・スケルトン,マニュエル・パイス. チームトポロジー価値あるソフトウェアをすばやく届ける適応型組織設計 (Japanese Edition). Kindle Edition.

Slide 73

Slide 73 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 1994-2001 2002+ モノリシックアーキテクチャ + 階層化組織サービスの分割 + Two-pizzaチーム 1000+マイクロサービス 100+ purpose-built databases Amazonにおけるデプロイメント変遷︓2001-2002

Slide 74

Slide 74 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. コンポーネントの分割 • 原則 • 可能な限り⼩さなユニットにする（プリミティブ） • データドメインの作成 • 関数単位ではなくスケールファクタによる分割 • 個々のサービスは独⽴して運⽤組織間の連携による待ち時間の発⽣を抑える • サービス間はAPI（契約）で連携これにより組織の変更が導かれました

Slide 75

Slide 75 text

Slide 76

Slide 76 text

Slide 77

Slide 77 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 77 専任のシングルスレッド化されたチームでフローを最適化専任の商品担当チーム商品開発商品化商品マネージャープロジェクトマネージャー開発者テスト担当者インフラ担当者運営とサポート商品チーム B 商品チーム A 商品チーム C バックログ A • ストーリー 1 • ストーリー 2 • ストーリー 3 • ストーリー 4 バックログ A • ストーリー 1 • ストーリー 2 • ストーリー 3 • ストーリー 4 バックログ A • ストーリー 1 • ストーリー 2 • ストーリー 3 • ストーリー 4

Slide 78

Slide 78 text

Slide 79

Slide 79 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 組織内の “サイロ” 化が勢いを無くす要因オペレーションデータベースチーム品質保証アプリケーションセキュリティソフトウェア開発チーム “開発環境のセットアップを待機するため作業を中断" “新しいテーブルや SQL スクリプトを待機するため作業を中断" “パフォーマンステストを待機するために作業を中断" “ ソースコードの⼿動検査を待機するため作業を中断 " “データベースセキュリティの承認待機するため作業を中断" “セキュリティテストの完了を待機するため作業を中断" “セキュリティ証明書の作成を待機するため作業を中断" “データベースホストのセットアップを待機するため作業を中断" “新しいテストのホストを待機するために作業を中断 ”

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 作成したモデルをコードに反映 • 戦術的DDD § ドメインモデルを実装に反映する § モデルと実装は繰り返し改善する § ドメインモデルがビジネスロジックに対する責務を持つ § ドメインモデルとインフラストラクチャを分離する – 依存関係逆転の原則により、ドメイン層をシステム的な関⼼ごとから分離 – ヘキサゴナル/オニオン/クリーンアーキテクチャ

Slide 83

Slide 83 text

Slide 84

Slide 84 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 参考︓ヘキサゴナルアーキテクチャ Domain Model Ports Adapters Primary Actor Secondary Actor HTTP Request Event Message Queue … File Storage Database Queue … アプリケーションはポートによって接続されるアダプタは外界との糊の役⽬を果たすドメインモデルはビジネスロジックを実⾏し、モデルの外側についての知識を持たない

Slide 85

Slide 85 text

AWSにおけるマイクロサービスとNOSQLの活⽤ © 2023, Amazon Web Services, Inc. or its affiliates. 参考︓ヘキサゴナルアーキテクチャのサンプルコード • ヘキサゴナルアーキテクチャを利⽤したLambda関数のドメインモデルの実装Live § 動画︓ https://www.youtube.com/watch?v=whQ-P05QeDQ § 資料︓ https://pages.awscloud.com/rs/112-TZM-766/images/DEV- 09_LiveCoding_with_hexagonal_architecture.pdf • ヘキサゴナルアーキテクチャを利⽤した AWS Lambda のドメインモデルオブジェクトサンプルコード https://github.com/aws-samples/aws-lambda-domain- model-sample