2022年3月9日 「AWS Expert Online: 大阪リージョンオープン1周年祭り/AWSJメンバーで大座談会」 (JAWS-UG) での資料です。 AWS 大阪リージョンでのDatabase領域とAnalytics領域のサービスの進化とその使い方について簡単に振り返る資料です。
イベントの録画はこちらにあります。 https://www.youtube.com/watch?v=-lcAWjjoEck&feature=youtu.be
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.1アマゾン ウェブ サービス ジャパン 合同会社シニアソリューションアーキテクト下佐粉 昭 (Akira Shimosako)2022年3月9日大阪リージョンにおけるDatabase & Analytics サービスの進化
View Slide
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.2自己紹介下佐粉 昭(しもさこ あきら)アマゾン ウェブ サービス ジャパンシニアソリューションアーキテクト (アナリティクス)「AWSではじめるデータレイク」https://techiemedia.co.jp/週刊AWS毎週AWSのアップデートをサマリしてお届け@simosako
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.31年間での Database & Analytics サービスの充実Amazon Aurora Amazon DynamoDBAmazon RDS Amazon ElastiCacheAmazon RDS Proxy Amazon AthenaAWS Glue AmazonOpenSearch ServiceAmazon KinesisData StreamsAmazon KinesisData FirehoseAmazon KinesisData AnalyticsAmazon RedshiftAWS Lake FormationAmazon MSK(Kafka)Database Data lake AnalyzeStreamingNEW NEWAmazon S3NEWNEW NEW機能拡張機能拡張機能拡張 価格低下AWS DMS
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.4大阪-東京リージョン間のデータベース共有がより容易にDRだけでなく、ウォームスタンバイ(高速フェイルオーバー)アクティブ-アクティブ構成がより多様な構成で実現可能に• Aurora Global database• DynamoDB Global table• AWS DMS• RDS クロスリージョンレプリカ機能拡張機能拡張
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.5S3の活用・連携機能も強化データベースのデータをS3に保存• AWS DMS (RDB -> S3)• Amazon RDS クロスリージョンバックアップS3上のデータを活用• Amazon Athena• Amazon Redshift Spectrum機能拡張機能拡張NEW
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.6…という事はDR用途だけでなく、大阪リージョンでデータ活用する機会の到来!例:1)大阪-東京 マルチリージョンアプリケーションを実現2)大阪リージョンにデータ分析環境を作る3)大阪リージョンでテストや開発
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.7大阪-東京 マルチリージョンアプリケーションを実現• データベースサービスの低遅延レプリケーションを活用したマルチリージョン構成• Write/Readの分離や、片系ダウン時のフェイルオーバーについてはアプリケーション側の工夫が必要• DynamoDB Global Table : 双方向にレプリケーション可能だが、リージョンを超えて更新競合した場合は、時刻的に「後」の更新が残る• Aurora Global Database:PrimaryからStandbyへの一方向レプリケーション✓ 書き込みはPrimary側のみだが、StandbyへのライトクエリをPrimaryに転送は可能✓ Standbyへのフェイルオーバー可能Amazon API GatewayDynamoDB Global tableLambda functionAmazon API GatewayDynamoDB Global tableLambda functionReplicationOsaka TokyoAmazon Route 53AmazonRoute 53round robin
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.8大阪リージョンにデータ分析環境を作るS3上にデータがあれば、サーバーレスで分析を始められる• 元々DR用途でS3にデータやログがある場合、それを活用可能• Lake Formationで権限管理や監査機能を実現• リージョン単位にあるサービスのクオータを分散させる(例:Athenaの同時実行DML数)Tokyo OsakaS3(Log etc.)S3(DR copy)ReplicationKinesisDataFirehoseAppAppAthenaAWS Lake FormationUserSQLQuery権限チェック一時クレデンシャルAWS GlueApp AWS GlueETL
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.9大阪リージョンでテストや開発• 本番環境に影響を及ぼさない環境で、テストや実験できる環境• 例:「今」の本番データ元にしたDBで最新コードを常にテスト✓ RDSのクロスリージョンレプリケーションで同じDBを作成(Read Only)✓ 見えてはいけないデータはDMSやGlueで加工して必要な表と列をフィルタして連携Tokyo OsakaRDSfor TestAppAppDeveloperAmazonRDSAWSDMSDR Snapshot列や表をフィルタしてレプリケーションDR用のバックアップ兼過去データでのテスト用クロスリージョンレプリケーション
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.10まとめ• 大阪リージョンは、マルチリージョン構成や、単体でデータの活用・分析が可能なインフラストラクチャーに成長しました• 元々DR用途でS3上にデータを保存している場合であれば、各種S3データを参照可能な分析機能をすぐ活用可能です• リージョン単位の制限への対応や、リージョン単位で分割される事のメリットをうまく活用してください!