AWS 大阪リージョンにおける Database & Analytics サービスの進化

2022年3月9日 「AWS Expert Online: 大阪リージョンオープン１周年祭り／AWSJメンバーで大座談会」 (JAWS-UG) での資料です。
AWS 大阪リージョンでのDatabase領域とAnalytics領域のサービスの進化とその使い方について簡単に振り返る資料です。

イベントの録画はこちらにあります。 https://www.youtube.com/watch?v=-lcAWjjoEck&feature=youtu.be

Transcript

1. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 1 アマゾン ウェブ サービス ジャパン 合同会社 シニアソリューションアーキテクト 下佐粉 昭 (Akira Shimosako) 2022年3月9日 大阪リージョンにおける Database & Analytics サービスの進化
2. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 2 自己紹介 下佐粉 昭（しもさこ あきら） アマゾン ウェブ サービス ジャパン シニアソリューションアーキテクト (アナリティクス) 「AWSではじめるデータレイク」 https://techiemedia.co.jp/ 週刊AWS 毎週AWSのアップデートをサマリしてお届け @simosako
3. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 3 1年間での Database & Analytics サービスの充実 Amazon Aurora Amazon DynamoDB Amazon RDS Amazon ElastiCache Amazon RDS Proxy Amazon Athena AWS Glue Amazon OpenSearch Service Amazon Kinesis Data Streams Amazon Kinesis Data Firehose Amazon Kinesis Data Analytics Amazon Redshift AWS Lake Formation Amazon MSK (Kafka) Database Data lake Analyze Streaming NEW NEW Amazon S3 NEW NEW NEW 機能拡張 機能拡張 機能拡張 価格低下 AWS DMS
4. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 4 大阪-東京リージョン間のデータベース共有が より容易に DRだけでなく、ウォームスタンバイ（高速フェイルオーバー） アクティブ-アクティブ構成がより多様な構成で実現可能に • Aurora Global database • DynamoDB Global table • AWS DMS • RDS クロスリージョンレプリカ 機能拡張 機能拡張
5. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 5 S3の活用・連携機能も強化 データベースのデータをS3に保存 • AWS DMS (RDB -> S3) • Amazon RDS クロスリージョンバックアップ S3上のデータを活用 • Amazon Athena • Amazon Redshift Spectrum 機能拡張 機能拡張 NEW
6. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 6 …という事は DR用途だけでなく、大阪リージョンでデータ活用する機会の到来！ 例： １）大阪-東京 マルチリージョンアプリケーションを実現 ２）大阪リージョンにデータ分析環境を作る ３）大阪リージョンでテストや開発
7. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 7 大阪-東京 マルチリージョンアプリケーションを実現 • データベースサービスの低遅延レプリケー ションを活用したマルチリージョン構成 • Write/Readの分離や、片系ダウン時のフェ イルオーバーについてはアプリケーション 側の工夫が必要 • DynamoDB Global Table : 双方向にレプリ ケーション可能だが、リージョンを超えて 更新競合した場合は、時刻的に「後」の更 新が残る • Aurora Global Database：Primaryから Standbyへの一方向レプリケーション ✓ 書き込みはPrimary側のみだが、Standbyへ のライトクエリをPrimaryに転送は可能 ✓ Standbyへのフェイルオーバー可能 Amazon API Gateway DynamoDB Global table Lambda function Amazon API Gateway DynamoDB Global table Lambda function Replication Osaka Tokyo Amazon Route 53 Amazon Route 53 round robin
8. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 8 大阪リージョンにデータ分析環境を作る S3上にデータがあれば、サーバーレスで分析を始められる • 元々DR用途でS3にデータやログがある場合、それを活用可能 • Lake Formationで権限管理や監査機能を実現 • リージョン単位にあるサービスのクオータを分散させる（例：Athenaの同時実行DML数） Tokyo Osaka S3 (Log etc.) S3 (DR copy) Replication Kinesis Data Firehose App App Athena AWS Lake Formation User SQL Query 権限 チェック 一時 クレデンシャル AWS Glue App AWS Glue ETL
9. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 9 大阪リージョンでテストや開発 • 本番環境に影響を及ぼさない環境で、テストや実験できる環境 • 例：「今」の本番データ元にしたDBで最新コードを常にテスト ✓ RDSのクロスリージョンレプリケーションで同じDBを作成(Read Only) ✓ 見えてはいけないデータはDMSやGlueで加工して必要な表と列をフィルタして連携 Tokyo Osaka RDS for Test App App Developer Amazon RDS AWS DMS DR Snapshot 列や表をフィルタして レプリケーション DR用のバックアップ兼 過去データでのテスト用 クロスリージョンレプリケーション
10. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 10 まとめ • 大阪リージョンは、マルチリージョン構成や、単体でデータの活用・ 分析が可能なインフラストラクチャーに成長しました • 元々DR用途でS3上にデータを保存している場合であれば、各種S3 データを参照可能な分析機能をすぐ活用可能です • リージョン単位の制限への対応や、リージョン単位で分割される事の メリットをうまく活用してください！