Amazon Redshift Serverless のご紹介

2022/11/24に開催された「DataOps Night #3 ～Redshift Serverless事始め～」 https://finatext.connpass.com/event/264064/ の登壇資料です。

Transcript

1. © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. Amazon Redshift Serverless の ご紹介 平間 ⼤輔 2022年11⽉24⽇ アナリティクス ソリューションアーキテクト アマゾン ウェブ サービス ジャパン合同会社
2. © 2022, Amazon Web Services, Inc. or its affiliates. ⾃⼰紹介 平間 ⼤輔 アマゾン ウェブ サービス ジャパン ソリューションアーキテクト アナリティクス分野の技術⽀援を担当 好きな AWS サービス • Amazon Redshift • Amazon QuickSight
3. © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 進化する Amazon Redshift 3
4. © 2022, Amazon Web Services, Inc. or its affiliates. JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration 2013 4 Amazon Redshift architecture 進化の歴史
5. © 2022, Amazon Web Services, Inc. or its affiliates. JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2017 Amazon Redshift architecture 進化の歴史 5
6. © 2022, Amazon Web Services, Inc. or its affiliates. JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Auto-scaling clusters Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019 Amazon Redshift architecture 進化の歴史 6
7. © 2022, Amazon Web Services, Inc. or its affiliates. Data lake JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Auto-scaling clusters Redshift Managed Storage Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019 Amazon Redshift architecture 進化の歴史 7
8. © 2022, Amazon Web Services, Inc. or its affiliates. Data lake JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Compilation Service Global Cache (*.o) CaaS Auto-scaling clusters Redshift Managed Storage Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019 Amazon Redshift architecture 進化の歴史 8
9. © 2022, Amazon Web Services, Inc. or its affiliates. Data lake JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Compilation Service Global Cache (*.o) CaaS Auto-scaling clusters Redshift Managed Storage Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019 Amazon Redshift architecture 進化の歴史 9
10. © 2022, Amazon Web Services, Inc. or its affiliates. Data lake JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Compilation Service Global Cache (*.o) CaaS Auto-scaling clusters Redshift Managed Storage Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2021 AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Amazon Redshift architecture 進化の歴史 10
11. © 2022, Amazon Web Services, Inc. or its affiliates. Data lake JDBC/ODBC Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Compilation Service Global Cache (*.o) CaaS Auto-scaling clusters Redshift Managed Storage Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2021 AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Data sharing clusters Amazon Redshift architecture 進化の歴史 11
12. © 2022, Amazon Web Services, Inc. or its affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Compilation Service Global Cache (*.o) CaaS Auto-scaling clusters Redshift Managed Storage AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2021 Operational Databases Query Live Data Incremental MVs Data sharing clusters Amazon Redshift architecture 進化の歴史 12
13. © 2022, Amazon Web Services, Inc. or its affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Compilation Service Global Cache (*.o) CaaS Data sharing clusters Auto-scaling clusters Amazon SageMaker Redshift ML Redshift Managed Storage AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2021 Amazon Redshift architecture 進化の歴史 13
14. © 2022, Amazon Web Services, Inc. or its affiliates. これらの機能を インフラ管理なく より⼿軽に使うには︖ 14
15. © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. Amazon Redshift Serverless の登場 15
16. © 2022, Amazon Web Services, Inc. or its affiliates. Amazon Redshift Serverless とは DWHクラスターを管理することなくデータ分析 の実⾏やスケーリングが可能に シンプルで使いやすい ⼀貫した⾼速なパフォーマンスを提供するため に、DWHの処理能⼒を⾃動的にプロビジョニン グしスケーリングする インテリジェントに⾃動でスケール Amazon Redshiftの豊富なSQLの機能やデータレ イクとのシームレスな統合、 業界をリードする価 格パフォーマンスをそのまま利⽤できる ⾼度な機能・性能はそのまま コンピュート料⾦はワークロードの継続時間に 応じて秒単位でのお⽀払い、アイドル時間の料 ⾦はかからない 使った分だけの課⾦ 16
17. © 2022, Amazon Web Services, Inc. or its affiliates. Redshift Serverless 導⼊により「分析と洞察」に集中 キャパシティプランニング (ノード数・タイプ) チューニング (WLM, CS) プログラミング＆デプロイ 監視設定 分析と洞察 監視＆リサイズ＆再チューニング プログラミング＆デプロイ 分析と洞察 Current: これまでのデータ分析 Next: Redshift Serverless で実現するデータ分析 ⾃動化により分析と洞察に⾄る 多くのハードルが⼤幅に減少 17
18. © 2022, Amazon Web Services, Inc. or its affiliates. 処理能⼒は動的に⾃動で管理 Amazon Redshift Serverless JDBC/ODBC Data sharing clusters Data API Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Intelligent and dynamic compute management Amazon Sagemaker Redshift ML Redshift Managed Storage Amazon S3 ML-based workload monitoring Automatic tuning Automatic scaling Automatic workload management Pay for use Performance at scale Automatic maintenance 18
19. © 2022, Amazon Web Services, Inc. or its affiliates. エンドポイントへ接続すれば、これまで通りに利⽤可能 アプリケーションをシンプルに Amazon Redshift Serverless endpoint へ 接続すれば、すぐに実⾏可能 Amazon Redshift SQL のすべての機能が利⽤可能 Security and user management Complex joins Semi-structured data Data sharing Machine learning functions Amazon Redshift Data API JDBC/ODBC Tools Your applications Amazon S3 data lake Amazon Redshift Serverless Intelligent and dynamic compute management ML-based workload monitoring Automatic tuning Automatic scaling Automatic workload management Pay for use Performance at scale Automatic maintenance AWS Lambda, AWS Cloud9, Java, Go, PowerShell, Node.js, C#, Python, and Ruby Amazon Redshift managed storage Amazon Aurora/ RDS databases Data lake queries Federated query Durability and transactional guarantees JDBC/ODBC and Data API And more 19
20. © 2022, Amazon Web Services, Inc. or its affiliates. 統合された課⾦体系 • 平準化されたUnit単位での課⾦ – Redshift Processing Unit (RPU) § 1RPU = 16GiB memory • RPU-時間に対して、秒単位で課⾦ • ベースのDWHも、処理能⼒のスケーリングも 、データレイクへのアクセスも、すべて同じ RPU-時間で課⾦ • 同時実⾏スケーリングやSpectrum料⾦は不要 • 1RPU-時間あたり0.494 USD （東京リージョン） COMP UT E • マネージドストレージとスナップショットに 対して、固定のGB-⽉のレートで課⾦ • 過去24時間、30分単位で特定のポイントへ リストアできる機能は無料で提供 • GB-⽉あたり0.0261 USD （東京リージョン） S TOR AGE 20
21. © 2022, Amazon Web Services, Inc. or its affiliates. 使っただけのお⽀払い ワークロード実⾏期間のコンピュートキャパシティ利⽤のみ課⾦（秒単位） 2.00:00 2:05:00 2.10:00 2.15:00 2:00:00 -2:03:00 2:00:30 -2:02:30 2:07:00 -2:08:10 Q1 Q2 Q3 Q4 2:12:00 -2:13:20 2:01:30 -2:03:00 Q5 Billing duration Query execution time @2:03 3 minutes (for Q1, Q2, Q3) @2:09 1 minute 10 seconds (for Q4) @2:14 1 minute and 20 seconds (for Q5) Total charges 5 minutes and 30 seconds アイドル期間は課⾦対象外 課⾦ (3分) 課⾦ (1分10秒) 課⾦ (1分2０秒) 21
22. © 2022, Amazon Web Services, Inc. or its affiliates. パフォーマンスとコストコントロール • ワークロードのパフォーマンス要件に応じてベ ースの処理能⼒を設定 • システムはワークロード管理を適⽤して、処理 能⼒のスループットを最⼤限に⾼める • ⽇次/週次/⽉次でRPU時間を制限することで、コ ストにしきい値を設定する • システムは制限内で⾃動的にスケーリングされ、 追加のユーザーやクエリの同時実⾏に対応する と同時に、⼀貫したパフォーマンスを提供する 22
23. © 2022, Amazon Web Services, Inc. or its affiliates. スケールアウトを活⽤したハイパフォーマンス • 使った分だけの課⾦が前提となるとスケールアウトの仕組みを使ってほぼ同コス トでハイパフォーマンスを実現可能 • RPU を増やしても利⽤時間が短くなればコストは同じ • 実際は厳密にRPUの数と処理時間は反⽐例せずRPUが⼩さいほどコストは安くなる傾向はあるが、 その場合でも、わずかなコスト増加で⼤きなパフォーマンスの恩恵を受けることができる 処理時間 8時間 処理時間 2時間 RPU 128RPUに 拡張 RPU 32 RPU×8h ＝256 RPU・h 128 RPU×2h ＝256 RPU・h 23
24. © 2022, Amazon Web Services, Inc. or its affiliates. Amazon Redshift Serverless のユースケース query_count scanned_data o 未知かつ予測が難しい ワークロード o 定期実⾏ワークロード o 定常的にスパイクを伴う ワークロード o インフラを意識せず すぐ簡単に分析開始 24
25. © 2022, Amazon Web Services, Inc. or its affiliates. クエリ実⾏もサーバーレスで簡単に 事前セットアップ不要ですぐに使える Web ベースの新しいクエリエディタ Amazon Redshift の管理コンソールへの アクセス権限を必要とすることなく、 SSO で簡単にアクセス SQL ⽂を実⾏したり、クエリ結果の グラフ化を⾏うことも可能 Markdown形式と複数SQL⼊⼒に対応し たSQL Notebooks もサポート 25 Amazon Redshift query editor v2
26. © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. デモ 26
27. © 2022, Amazon Web Services, Inc. or its affiliates. デモシナリオ • Amazon S3上に、圧縮済み650MB のデータが存在 • このデータは⾮圧縮で5GBを超え、⼿元のPCで分析する のは厳しい • 付属の Web ベースのクエリエディタ、Query Editor v2 を使ってAmazon Redshift Serverless でデータを取り 込み、簡単なクエリを実⾏し、可視化も⾏う 27 利⽤するデータは、⽶国交通統計局(https://www.bts.gov/)が公開している⽶国国内線の発 着 データを使い、2010 年~2014 年の範囲で必要な部分を TSV(タブ⽂字で区切られたテキ ストファイル)で保存したものです。 今回は、以下のシナリオで Amazon Redshift Serverless を 使った分析業務をお⾒せします
28. © 2022, Amazon Web Services, Inc. or its affiliates. Thank you! © 2022, Amazon Web Services, Inc. or its affiliates.
29. © 2022, Amazon Web Services, Inc. or its affiliates. 内容についての注意点 • 本資料では2022年11⽉時点でのサービス内容および価格に基づいたスライドや説明になっています。 最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には⼗分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違が あった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided. 29