AWS re:Invent 2024 ふりかえり

by Takaaki Tanaka

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

2 ● クラスメソッド福岡   ● 製造ビジネステクノロジー部   ● チームマネージャー   ● サウナ・スパプロフェッショナル   田中孝明 (Takaaki TANAKA) こーめい  

Slide 3

Slide 3 text

5度⽬の参加 (2018 / 2021 / 2022 / 2023 / 2024)

Slide 4

Slide 4 text

re:Invent 2024 振り返り

Slide 5

Slide 5 text

re:Invent 2024 サマリー⽣成AI and グローバル分散データベース - Amazon SageMaker のリブランディング - k8s の管理を⾃動化する Amazon EKS Auto Mode - 新たなグローバル分散データベース Amazon Aurora DSQL 追加 - Amazon DynamoDB global tables のマルチリージョンでの強い整合性モードを追加 - Amazon Q Developer に Unit tests / documents ⽣成機能サポート - Amazon S3 の機能強化（Metadata / S3 tables） - Keynote で Andy Jassy (現 Amazon CEO / 元 AWS CEO) が Amazon Nova を発表

Slide 6

Slide 6 text

世は⼤グローバル分散データベース時代

Slide 7

Slide 7 text

とうとう出ました

Slide 8

Slide 8 text

とうとう出ました

Slide 9

Slide 9 text

Aurora であって Aurora ではない Amazon Aurora DSQL - 事実上無制限にスケールするサーバーレスな分散データベース - リージョンにまたがることで 99.999 % の可⽤性を実現 - マルチリージョンで Active / Active の書き込みが可能 - 強い⼀貫性 - サーバーレス（サーバーの管理不要） - PostgreSQL との互換 - ⼤規模から⼩規模までのシステムでの利⽤を想定 - 現在はプレビュー

Slide 10

Slide 10 text

10 - Amazon Aurora ではストレージ層、レプリケーション層、データ整合性層の分離をおこなってきた - PostgreSQL の操作は全て Query processor 層で⾏っている - トランザクション間のコンフリクトチェックは Adjudicator が担当し、問題なければトランザクションログを Journal に書き込む - その後書き込みログを別のリージョンへレプリケートする極限までデータベースの機能を分離

Slide 11

Slide 11 text

11 - 楽観的ロック (Optimistic Concurrency Control) を採⽤ - Amazon Time Sync Service などでも利⽤されてる原⼦時計を使ってタイムスタンプを取得 - 厳密なタイムスタンプを利⽤することでコンフリクトが発⽣するのが稀という思想 - 競合発⽣時のリトライ処理を考慮する必要はある（楽観的ロックのデメリットの⼀つで競合が多発する場合はリトライが頻発する）楽観的ロック

Slide 12

Slide 12 text

時間があればもう少し詳細に https://dev.classmethod.jp/articles/dat427-new-amazon-aurora-dsql-awsreinvent/

Slide 13

Slide 13 text

隣の芝⽣について動画で⽐較対象にされたサービス - 原⼦時計（TrueTime）を使っている点は⼀緒で地球規模の分散環境におけるトランザクションの順番や⼀貫性の保証を実現している - ロックには Two-phase commit と Paxos を採⽤、準備フェーズで Coordinator と呼ばれるノードとそれ他のノードにトランザクションを伝え、その他のノードがトランザクションに成功するようであれば成功を通知し、全てノードが成功する時にロックを獲得してトランザクション書き込みを実施する - 個⼈的には現時点の⽐較については静観する（リトライ処理などアプリケーションの性質によって変わるため）

Slide 14

Slide 14 text

DynamoDB と同じ感覚で使う

Slide 15

Slide 15 text

Amazon DynamoDB global tables (強い整合性モード)

Slide 16

Slide 16 text

18 - 従来だと別のリージョンへのレプリケートまでの間、最新データに反映されていないということが起こりうる - 書き込みログを Journal に書き込み、シリアライズで各ストレージにレプリケーションしていく - ただし、未取り込みの書き込みログを適⽤していくため、レイテンシーは犠牲になる全てのリージョンで確実に最新のデータを取得する

Slide 17

Slide 17 text

時間があればもう少し詳細に https://dev.classmethod.jp/articles/dat425-new-amazon-dynamodb-awsreinvent/

Slide 18

Slide 18 text

まとめ

Slide 19

Slide 19 text

AWS Lambda の基盤開発に関わった⽅のブログ https://brooker.co.za/blog/