$30 off During Our Annual Pro Sale. View Details »

AWS 大阪リージョンにおける Database & Analytics サービスの進化

AWS 大阪リージョンにおける Database & Analytics サービスの進化

2022年3月9日 「AWS Expert Online: 大阪リージョンオープン1周年祭り/AWSJメンバーで大座談会」 (JAWS-UG) での資料です。
AWS 大阪リージョンでのDatabase領域とAnalytics領域のサービスの進化とその使い方について簡単に振り返る資料です。

イベントの録画はこちらにあります。 https://www.youtube.com/watch?v=-lcAWjjoEck&feature=youtu.be

Akira Shimosako

March 09, 2022
Tweet

More Decks by Akira Shimosako

Other Decks in Technology

Transcript

  1. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    1
    アマゾン ウェブ サービス ジャパン 合同会社
    シニアソリューションアーキテクト
    下佐粉 昭 (Akira Shimosako)
    2022年3月9日
    大阪リージョンにおける
    Database & Analytics サービスの進化

    View Slide

  2. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    2
    自己紹介
    下佐粉 昭(しもさこ あきら)
    アマゾン ウェブ サービス ジャパン
    シニアソリューションアーキテクト (アナリティクス)
    「AWSではじめるデータレイク」
    https://techiemedia.co.jp/
    週刊AWS
    毎週AWSのアップデートをサマリしてお届け
    @simosako

    View Slide

  3. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    3
    1年間での Database & Analytics サービスの充実
    Amazon Aurora Amazon DynamoDB
    Amazon RDS Amazon ElastiCache
    Amazon RDS Proxy Amazon Athena
    AWS Glue Amazon
    OpenSearch Service
    Amazon Kinesis
    Data Streams
    Amazon Kinesis
    Data Firehose
    Amazon Kinesis
    Data Analytics
    Amazon Redshift
    AWS Lake Formation
    Amazon MSK
    (Kafka)
    Database Data lake Analyze
    Streaming
    NEW NEW
    Amazon S3
    NEW
    NEW NEW
    機能拡張
    機能拡張
    機能拡張 価格低下
    AWS DMS

    View Slide

  4. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    4
    大阪-東京リージョン間のデータベース共有が
    より容易に
    DRだけでなく、ウォームスタンバイ(高速フェイルオーバー)
    アクティブ-アクティブ構成がより多様な構成で実現可能に
    • Aurora Global database
    • DynamoDB Global table
    • AWS DMS
    • RDS クロスリージョンレプリカ
    機能拡張
    機能拡張

    View Slide

  5. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    5
    S3の活用・連携機能も強化
    データベースのデータをS3に保存
    • AWS DMS (RDB -> S3)
    • Amazon RDS クロスリージョンバックアップ
    S3上のデータを活用
    • Amazon Athena
    • Amazon Redshift Spectrum
    機能拡張
    機能拡張
    NEW

    View Slide

  6. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    6
    …という事は
    DR用途だけでなく、大阪リージョンでデータ活用する機会の到来!
    例:
    1)大阪-東京 マルチリージョンアプリケーションを実現
    2)大阪リージョンにデータ分析環境を作る
    3)大阪リージョンでテストや開発

    View Slide

  7. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    7
    大阪-東京 マルチリージョンアプリケーションを実現
    • データベースサービスの低遅延レプリケー
    ションを活用したマルチリージョン構成
    • Write/Readの分離や、片系ダウン時のフェ
    イルオーバーについてはアプリケーション
    側の工夫が必要
    • DynamoDB Global Table : 双方向にレプリ
    ケーション可能だが、リージョンを超えて
    更新競合した場合は、時刻的に「後」の更
    新が残る
    • Aurora Global Database:Primaryから
    Standbyへの一方向レプリケーション
    ✓ 書き込みはPrimary側のみだが、Standbyへ
    のライトクエリをPrimaryに転送は可能
    ✓ Standbyへのフェイルオーバー可能
    Amazon API Gateway
    DynamoDB Global table
    Lambda function
    Amazon API Gateway
    DynamoDB Global table
    Lambda function
    Replication
    Osaka Tokyo
    Amazon Route 53
    Amazon
    Route 53
    round robin

    View Slide

  8. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    8
    大阪リージョンにデータ分析環境を作る
    S3上にデータがあれば、サーバーレスで分析を始められる
    • 元々DR用途でS3にデータやログがある場合、それを活用可能
    • Lake Formationで権限管理や監査機能を実現
    • リージョン単位にあるサービスのクオータを分散させる(例:Athenaの同時実行DML数)
    Tokyo Osaka
    S3
    (Log etc.)
    S3
    (DR copy)
    Replication
    Kinesis
    Data
    Firehose
    App
    App
    Athena
    AWS Lake Formation
    User
    SQL
    Query
    権限
    チェック
    一時
    クレデンシャル
    AWS Glue
    App AWS Glue
    ETL

    View Slide

  9. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    9
    大阪リージョンでテストや開発
    • 本番環境に影響を及ぼさない環境で、テストや実験できる環境
    • 例:「今」の本番データ元にしたDBで最新コードを常にテスト
    ✓ RDSのクロスリージョンレプリケーションで同じDBを作成(Read Only)
    ✓ 見えてはいけないデータはDMSやGlueで加工して必要な表と列をフィルタして連携
    Tokyo Osaka
    RDS
    for Test
    App
    App
    Developer
    Amazon
    RDS
    AWS
    DMS
    DR Snapshot
    列や表をフィルタして
    レプリケーション
    DR用のバックアップ兼
    過去データでのテスト用
    クロスリージョンレプリケーション

    View Slide

  10. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
    10
    まとめ
    • 大阪リージョンは、マルチリージョン構成や、単体でデータの活用・
    分析が可能なインフラストラクチャーに成長しました
    • 元々DR用途でS3上にデータを保存している場合であれば、各種S3
    データを参照可能な分析機能をすぐ活用可能です
    • リージョン単位の制限への対応や、リージョン単位で分割される事の
    メリットをうまく活用してください!

    View Slide