Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Redshift Serverless のご紹介

Amazon Redshift Serverless のご紹介

2022/11/24に開催された「DataOps Night #3 ~Redshift Serverless事始め~」 https://finatext.connpass.com/event/264064/ の登壇資料です。

Daisuke Hirama

November 24, 2022
Tweet

More Decks by Daisuke Hirama

Other Decks in Technology

Transcript

  1. © 2022, Amazon Web Services, Inc. or its affiliates.
    © 2022, Amazon Web Services, Inc. or its affiliates.
    Amazon Redshift Serverless の
    ご紹介
    平間 ⼤輔
    2022年11⽉24⽇
    アナリティクス ソリューションアーキテクト
    アマゾン ウェブ サービス ジャパン合同会社

    View full-size slide

  2. © 2022, Amazon Web Services, Inc. or its affiliates.
    ⾃⼰紹介
    平間 ⼤輔
    アマゾン ウェブ サービス ジャパン
    ソリューションアーキテクト
    アナリティクス分野の技術⽀援を担当
    好きな AWS サービス
    • Amazon Redshift
    • Amazon QuickSight

    View full-size slide

  3. © 2022, Amazon Web Services, Inc. or its affiliates.
    © 2022, Amazon Web Services, Inc. or its affiliates.
    進化する
    Amazon Redshift
    3

    View full-size slide

  4. © 2022, Amazon Web Services, Inc. or its affiliates.
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    2013
    4
    Amazon Redshift architecture 進化の歴史

    View full-size slide

  5. © 2022, Amazon Web Services, Inc. or its affiliates.
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2017
    Amazon Redshift architecture 進化の歴史
    5

    View full-size slide

  6. © 2022, Amazon Web Services, Inc. or its affiliates.
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Auto-scaling clusters
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2019
    Amazon Redshift architecture 進化の歴史
    6

    View full-size slide

  7. © 2022, Amazon Web Services, Inc. or its affiliates.
    Data lake
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Auto-scaling clusters
    Redshift
    Managed
    Storage
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2019
    Amazon Redshift architecture 進化の歴史
    7

    View full-size slide

  8. © 2022, Amazon Web Services, Inc. or its affiliates.
    Data lake
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Compilation
    Service
    Global
    Cache (*.o)
    CaaS
    Auto-scaling clusters
    Redshift
    Managed
    Storage
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2019
    Amazon Redshift architecture 進化の歴史
    8

    View full-size slide

  9. © 2022, Amazon Web Services, Inc. or its affiliates.
    Data lake
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Operational
    Databases
    Query Live Data
    Incremental MVs
    Compilation
    Service
    Global
    Cache (*.o)
    CaaS
    Auto-scaling clusters
    Redshift
    Managed
    Storage
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2019
    Amazon Redshift architecture 進化の歴史
    9

    View full-size slide

  10. © 2022, Amazon Web Services, Inc. or its affiliates.
    Data lake
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Operational
    Databases
    Query Live Data
    Incremental MVs
    Compilation
    Service
    Global
    Cache (*.o)
    CaaS
    Auto-scaling clusters
    Redshift
    Managed
    Storage
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2021
    AQUA
    Parallel execution
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Amazon Redshift architecture 進化の歴史
    10

    View full-size slide

  11. © 2022, Amazon Web Services, Inc. or its affiliates.
    Data lake
    JDBC/ODBC
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Operational
    Databases
    Query Live Data
    Incremental MVs
    Compilation
    Service
    Global
    Cache (*.o)
    CaaS
    Auto-scaling clusters
    Redshift
    Managed
    Storage
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2021
    AQUA
    Parallel execution
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Data
    sharing
    clusters
    Amazon Redshift architecture 進化の歴史
    11

    View full-size slide

  12. © 2022, Amazon Web Services, Inc. or its affiliates.
    Data lake
    JDBC/ODBC Data API
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Compilation
    Service
    Global
    Cache (*.o)
    CaaS
    Auto-scaling clusters
    Redshift
    Managed
    Storage
    AQUA
    Parallel execution
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2021
    Operational
    Databases
    Query Live Data
    Incremental MVs
    Data
    sharing
    clusters
    Amazon Redshift architecture 進化の歴史
    12

    View full-size slide

  13. © 2022, Amazon Web Services, Inc. or its affiliates.
    Data lake
    JDBC/ODBC Data API
    Redshift
    Compute
    Cluster
    Leader Node
    Compute
    Nodes
    AWS
    Nitro
    Compute
    Storage Acceleration
    Operational
    Databases
    Query Live Data
    Incremental MVs
    Compilation
    Service
    Global
    Cache (*.o)
    CaaS
    Data
    sharing
    clusters
    Auto-scaling clusters
    Amazon
    SageMaker
    Redshift ML
    Redshift
    Managed
    Storage
    AQUA
    Parallel execution
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Node
    AWS-
    designed
    processor
    Spectrum
    Node
    Spectrum
    Spectrum
    Node
    Spectrum
    Node
    Spectrum
    Node
    Amazon S3
    2021
    Amazon Redshift architecture 進化の歴史
    13

    View full-size slide

  14. © 2022, Amazon Web Services, Inc. or its affiliates.
    これらの機能を
    インフラ管理なく
    より⼿軽に使うには︖
    14

    View full-size slide

  15. © 2022, Amazon Web Services, Inc. or its affiliates.
    © 2022, Amazon Web Services, Inc. or its affiliates.
    Amazon Redshift
    Serverless の登場
    15

    View full-size slide

  16. © 2022, Amazon Web Services, Inc. or its affiliates.
    Amazon Redshift Serverless とは
    DWHクラスターを管理することなくデータ分析
    の実⾏やスケーリングが可能に
    シンプルで使いやすい
    ⼀貫した⾼速なパフォーマンスを提供するため
    に、DWHの処理能⼒を⾃動的にプロビジョニン
    グしスケーリングする
    インテリジェントに⾃動でスケール
    Amazon Redshiftの豊富なSQLの機能やデータレ
    イクとのシームレスな統合、 業界をリードする価
    格パフォーマンスをそのまま利⽤できる
    ⾼度な機能・性能はそのまま
    コンピュート料⾦はワークロードの継続時間に
    応じて秒単位でのお⽀払い、アイドル時間の料
    ⾦はかからない
    使った分だけの課⾦
    16

    View full-size slide

  17. © 2022, Amazon Web Services, Inc. or its affiliates.
    Redshift Serverless 導⼊により「分析と洞察」に集中
    キャパシティプランニング
    (ノード数・タイプ)
    チューニング (WLM, CS)
    プログラミング&デプロイ
    監視設定
    分析と洞察
    監視&リサイズ&再チューニング
    プログラミング&デプロイ
    分析と洞察
    Current:
    これまでのデータ分析
    Next:
    Redshift Serverless
    で実現するデータ分析
    ⾃動化により分析と洞察に⾄る
    多くのハードルが⼤幅に減少
    17

    View full-size slide

  18. © 2022, Amazon Web Services, Inc. or its affiliates.
    処理能⼒は動的に⾃動で管理
    Amazon
    Redshift
    Serverless
    JDBC/ODBC
    Data
    sharing
    clusters
    Data API
    Compute
    Storage Acceleration
    Operational
    Databases
    Query Live Data
    Incremental MVs
    Intelligent and
    dynamic compute management
    Amazon
    Sagemaker
    Redshift ML
    Redshift
    Managed
    Storage
    Amazon S3
    ML-based
    workload monitoring
    Automatic tuning
    Automatic scaling
    Automatic
    workload management
    Pay for use
    Performance at scale
    Automatic maintenance
    18

    View full-size slide

  19. © 2022, Amazon Web Services, Inc. or its affiliates.
    エンドポイントへ接続すれば、これまで通りに利⽤可能
    アプリケーションをシンプルに
    Amazon Redshift Serverless endpoint へ
    接続すれば、すぐに実⾏可能
    Amazon Redshift SQL のすべての機能が利⽤可能
    Security and user management
    Complex joins
    Semi-structured data
    Data sharing
    Machine learning functions
    Amazon Redshift Data API
    JDBC/ODBC
    Tools Your
    applications
    Amazon S3
    data lake
    Amazon Redshift Serverless
    Intelligent and dynamic
    compute management
    ML-based
    workload monitoring
    Automatic tuning
    Automatic scaling
    Automatic
    workload management
    Pay for use
    Performance at scale
    Automatic maintenance
    AWS Lambda, AWS Cloud9, Java, Go,
    PowerShell, Node.js, C#, Python, and Ruby
    Amazon Redshift
    managed storage
    Amazon Aurora/
    RDS databases
    Data lake queries
    Federated query
    Durability and
    transactional guarantees
    JDBC/ODBC and Data API
    And more
    19

    View full-size slide

  20. © 2022, Amazon Web Services, Inc. or its affiliates.
    統合された課⾦体系
    • 平準化されたUnit単位での課⾦ – Redshift
    Processing Unit (RPU)
    § 1RPU = 16GiB memory
    • RPU-時間に対して、秒単位で課⾦
    • ベースのDWHも、処理能⼒のスケーリングも
    、データレイクへのアクセスも、すべて同じ
    RPU-時間で課⾦
    • 同時実⾏スケーリングやSpectrum料⾦は不要
    • 1RPU-時間あたり0.494 USD
    (東京リージョン)
    COMP UT E
    • マネージドストレージとスナップショットに
    対して、固定のGB-⽉のレートで課⾦
    • 過去24時間、30分単位で特定のポイントへ
    リストアできる機能は無料で提供
    • GB-⽉あたり0.0261 USD
    (東京リージョン)
    S TOR AGE
    20

    View full-size slide

  21. © 2022, Amazon Web Services, Inc. or its affiliates.
    使っただけのお⽀払い
    ワークロード実⾏期間のコンピュートキャパシティ利⽤のみ課⾦(秒単位)
    2.00:00 2:05:00 2.10:00 2.15:00
    2:00:00
    -2:03:00
    2:00:30
    -2:02:30
    2:07:00
    -2:08:10
    Q1
    Q2
    Q3
    Q4
    2:12:00
    -2:13:20
    2:01:30
    -2:03:00
    Q5
    Billing duration Query execution time
    @2:03 3 minutes (for Q1, Q2, Q3)
    @2:09 1 minute 10 seconds (for
    Q4)
    @2:14 1 minute and 20 seconds
    (for Q5)
    Total charges 5 minutes and 30 seconds
    アイドル期間は課⾦対象外
    課⾦
    (3分)
    課⾦
    (1分10秒)
    課⾦
    (1分20秒)
    21

    View full-size slide

  22. © 2022, Amazon Web Services, Inc. or its affiliates.
    パフォーマンスとコストコントロール
    • ワークロードのパフォーマンス要件に応じてベ
    ースの処理能⼒を設定
    • システムはワークロード管理を適⽤して、処理
    能⼒のスループットを最⼤限に⾼める
    • ⽇次/週次/⽉次でRPU時間を制限することで、コ
    ストにしきい値を設定する
    • システムは制限内で⾃動的にスケーリングされ、
    追加のユーザーやクエリの同時実⾏に対応する
    と同時に、⼀貫したパフォーマンスを提供する
    22

    View full-size slide

  23. © 2022, Amazon Web Services, Inc. or its affiliates.
    スケールアウトを活⽤したハイパフォーマンス
    • 使った分だけの課⾦が前提となるとスケールアウトの仕組みを使ってほぼ同コス
    トでハイパフォーマンスを実現可能
    • RPU を増やしても利⽤時間が短くなればコストは同じ
    • 実際は厳密にRPUの数と処理時間は反⽐例せずRPUが⼩さいほどコストは安くなる傾向はあるが、
    その場合でも、わずかなコスト増加で⼤きなパフォーマンスの恩恵を受けることができる
    処理時間
    8時間 処理時間
    2時間
    RPU
    128RPUに
    拡張
    RPU
    32 RPU×8h
    =256 RPU・h
    128 RPU×2h
    =256 RPU・h
    23

    View full-size slide

  24. © 2022, Amazon Web Services, Inc. or its affiliates.
    Amazon Redshift Serverless のユースケース
    query_count scanned_data
    o 未知かつ予測が難しい
    ワークロード
    o 定期実⾏ワークロード
    o 定常的にスパイクを伴う
    ワークロード
    o インフラを意識せず すぐ簡単に分析開始
    24

    View full-size slide

  25. © 2022, Amazon Web Services, Inc. or its affiliates.
    クエリ実⾏もサーバーレスで簡単に
    事前セットアップ不要ですぐに使える
    Web ベースの新しいクエリエディタ
    Amazon Redshift の管理コンソールへの
    アクセス権限を必要とすることなく、
    SSO で簡単にアクセス
    SQL ⽂を実⾏したり、クエリ結果の
    グラフ化を⾏うことも可能
    Markdown形式と複数SQL⼊⼒に対応し
    たSQL Notebooks もサポート
    25
    Amazon Redshift query editor v2

    View full-size slide

  26. © 2022, Amazon Web Services, Inc. or its affiliates.
    © 2022, Amazon Web Services, Inc. or its affiliates.
    デモ
    26

    View full-size slide

  27. © 2022, Amazon Web Services, Inc. or its affiliates.
    デモシナリオ
    • Amazon S3上に、圧縮済み650MB のデータが存在
    • このデータは⾮圧縮で5GBを超え、⼿元のPCで分析する
    のは厳しい
    • 付属の Web ベースのクエリエディタ、Query Editor v2
    を使ってAmazon Redshift Serverless でデータを取り
    込み、簡単なクエリを実⾏し、可視化も⾏う
    27
    利⽤するデータは、⽶国交通統計局(https://www.bts.gov/)が公開している⽶国国内線の発
    着 データを使い、2010 年~2014 年の範囲で必要な部分を TSV(タブ⽂字で区切られたテキ
    ストファイル)で保存したものです。
    今回は、以下のシナリオで Amazon Redshift Serverless を
    使った分析業務をお⾒せします

    View full-size slide

  28. © 2022, Amazon Web Services, Inc. or its affiliates.
    Thank you!
    © 2022, Amazon Web Services, Inc. or its affiliates.

    View full-size slide

  29. © 2022, Amazon Web Services, Inc. or its affiliates.
    内容についての注意点
    • 本資料では2022年11⽉時点でのサービス内容および価格に基づいたスライドや説明になっています。
    最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
    • 資料作成には⼗分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違が
    あった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。
    • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to
    change in accordance with the AWS Customer Agreement available at
    http://aws.amazon.com/agreement/. Any pricing information included in this document is
    provided only as an estimate of usage charges for AWS services based on certain information
    that you have provided. Monthly charges will be based on your actual use of AWS services,
    and may vary from the estimates provided.
    29

    View full-size slide