20221006_Redshift Serverless とは/Redshift_Serverless_Overview

20221006_JAWS-UG 朝会#38 での発表スライドです。
redshift
• 【名】
• 《天文》赤色移動、赤方偏移
赤方偏移とは、主に天文学において、遠方の天体から到来する電磁波の波⾧がドップラー効果によって⾧くなる（可視光で言うと赤くなる）現象をいう

Transcript

1. 2022/10/6(木) JAWS-UG 朝会 #38
2. 目次 • Amazon Redshift Serverless とは • Amazon Redshift Serverless のコンポーネント • Amazon Redshift Serverless の特徴 • Amazon Redshift Serverless の料金 • 従来の Redshift クラスターと Redshift Serverless の比較 • 考慮事項 • まとめ • おまけ • 余談
3. Amazon Redshift Serverless とは
4. 従来の Redshift について • Amazon Redshift（RA3 インスタンス） ⇒ クラスター構成 • クラスターは主に以下3つの要素で構成 • リーダーノード • コンピュートノード • マネージドストレージ
5. Amazon Redshift Serverless とは • ノード部分の綿密な キャパシティプランニング不要 • 分析のためのクエリ実行時に自動で プロビジョニング・スケール • クラスターという概念がなくなった • 「名前空間」「ワークグループ」という コンポーネントで管理
6. Amazon Redshift Serverless のコンポーネント 「名前空間」と「ワークグループ」
7. Amazon Redshift Serverless の コンポーネント • 名前空間 • データベースオブジェクト・ユーザーなどの集まり https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/serverless-workgroup-namespace.html • データベース名とデータベース管理者パスワード • IAM ロールによる許可の設定 • データの暗号化とセキュリティ • KMS キーの指定や監査ログの有無
8. Amazon Redshift Serverless の コンポーネント • ワークグループ • コンピューティングリソースのあつまり • ネットワーク • セキュリティ • セキュリティグループ、 拡張 VPC ルーティング、パブリックアクセスの許可等 • Redshift 処理ユニット (RPU) のベース容量 • 使用制限 • Redshift 処理ユニット (RPU) の最大値 • クロスリージョンデータ共有 • クエリ制限 • クエリ実行タイムアウト:0～86,399 秒の範囲で指定
9. Amazon Redshift Serverless の コンポーネント • 名前空間とワークグループの関連付けは 1対1
10. Amazon Redshift Serverless の特徴
11. Amazon Redshift Serverless の特徴 • クラスターの管理不要 • 自動スケール • ワークロードの処理に使用される Redshift 処理ユニット（RPU: Redshift Processing Unit） という 単位でベース容量を設定しておく • 1 RPU = 16 GiB メモリ • 範囲は 8 刻みの 32～512 RPU まで • デフォルトで 128 RPU
12. Amazon Redshift Serverless の特徴 範囲は 8 刻みの 32～512 RPU まで
13. Amazon Redshift Serverless の特徴 • 使用制限 • リソース使用量を制限するしきい値を設定 • Redshift 処理ユニット (RPU) の最大数 • クロスリージョンデータ共有の使用制限 • 制限に達した際のアクションを以下から指定でき、想定以上のコスト発生を抑制 • アラート発報 • システムテーブルにログを書き込む • ユーザークエリを無効にするクエリの制限 • クエリの実行タイムアウト時間 • 0～86,399 秒の範囲を設定できる
14. Amazon Redshift Serverless の特徴 Redshift 処理ユニット (RPU) の最大数 クロスリージョンデータ共有の 使用制限
15. Amazon Redshift Serverless の特徴 クエリ実行タイムアウト 0～86,399 秒の範囲で指定 デフォルト 14,400 秒
16. Amazon Redshift Serverless の特徴 • 従来の Redshift Provisioned の機能・性能はそのまま • 従来の Redshift で使えた機能、データレイクとの統合、 パフォーマンスはそのまま • Redshift Serverless で作成したスナップショットを Redshift クラスターに復元することも可能
17. Amazon Redshift Serverless の料金
18. Amazon Redshift Serverless の料金 東京リージョンでの価格（2022/10/05時点） コンピュートの請求 1 RPU 時間あたり 0.494 USD ストレージの請求 GB 月あたり 0.0261 USD • コンピュートの請求 • RPU 時間に対し秒単位で課金、アイドル時間の料金はかからない • 同時実行スケーリング・Redshift Spectrum の料金は Redshift Serverless の 料金に含まれている • ストレージの請求 • Redshift マネージドストレージ（RMS）とスナップショットに対して GB / 月単位で請求 • 過去 30 分単位で 24 時間以内の特定のポイントには無料で復元できる
19. Amazon Redshift Serverless の料金 • 無料利用枠 • 90 日間で 300 USD までの無料トライアル
20. Amazon Redshift Serverless の料金 AWS Pricing Calculator では明示的に Redshift Serverless を選択して 見積もるような画面がなさそう??
21. 従来の Redshift クラスターと Redshift Serverless の比較
22. 従来の Redshift クラスターと Redshift Serverless の比較 従来の Redshift クラスター Redshift Serverless 分析規模 • 予測可能（中～超大規模） • 最大インスタンスタイプ:ra3.16xlarge、128 ノード • 低頻度、予測不能（小～大規模） • 最大 512 RPU 基盤管理 クラスターのプロビジョニングとチューニングが必要 自動 費用 • クラスタ稼働時間 • Redshift マネージドストレージ料金 • Redshift Spectrum でのクエリスキャン • 分析実行時間 • Redshift マネージドストレージ料金
23. 従来の Redshift クラスターと Redshift Serverless の比較 • 従来の Redshift クラスターが 適しているケース • 本番環境 • 常にクエリが実行されている • 稼働時間や処理能力の予測が可能 • 安定した性能が求められる • Redshift Serverless が 適しているケース • 開発環境 • クエリが実行されない時間帯が 比較的⾧い • パフォーマンスチューニングなど の知見がある管理者がいない 「一旦試したい」みたいなケース は Serverless がいいかも!
24. 考慮事項
25. 考慮事項 • 3 つのアベイラビリティゾーンに配置された 3 つのサブネットが必要
26. 考慮事項 • Redshift Serverless では メンテナンスウィンドウは使用できない • ソフトウェアバージョンの更新は自動的に適用 • バージョンが変わっても既存の接続やクエリの実行は中断されない • Redshift Serverless では AQUA（Advanced Query Accelerator）が サポートされていない
27. 考慮事項 • 小さいサブネットで RPU が大きい Redshift Serverless を 作成しようとするとエラーになることがある Redshift Serverless の RPU /28 /27 /26 /25 /24 32~72 × ◦ ◦ ◦ ◦ ~176 × × ◦ ◦ ◦ ~384 × × × ◦ ◦ ~512 × × × × ◦ 20220920 時点の検証結果
28. 考慮事項 • 小さいサブネットで RPU が大きい Redshift Serverless を 作成しようとするとエラーになることがある Redshift Serverless の RPU /28 /27 /26 /25 /24 32~72 × ◦ ◦ ◦ ◦ ~176 × × ◦ ◦ ◦ ~384 × × × ◦ ◦ ~512 × × × × ◦ 20220920 時点の検証結果 昨日試したら /27 のサブネット×3、初期ベース要領 RPU = 80 で作成できたので、厳密にはもっと違う法則があるのかもしれません
29. まとめ
30. まとめ • Amazon Redshift Serverless とは • ノード部分の綿密なキャパシティプランニングが不要 • 分析のためのクエリ実行時に自動でプロビジョニング・スケールしてくれる • Amazon Redshift Serverless のコンポーネント • 「名前空間」と「ワークグループ」 • Amazon Redshift Serverless の特徴 • クラスターの管理不要 • 自動スケール • 使用制限 • Amazon Redshift Serverless の料金 • アイドル時間は料金不要 • 従来の Redshift クラスターと Redshift Serverless の比較 • クエリが実行されない時間帯が比較的⾧い、予測がつきにくい場合は Redshift Serverless • 考慮事項 • 3 つのアベイラビリティゾーンに配置された 3 つのサブネットが必要
31. おまけ
32. おまけ 2022/10/5 Amazon Redshift Serverless がリソースのタグ付けをサポートするようになりました https://aws.amazon.com/about-aws/whats-new/2022/10/amazon-redshift-serverless-supports-resource-tagging/
33. おまけ • 30 分で試せる!Amazon Redshift Serverless データ分析ハンズオン https://aws.amazon.com/jp/redshift/redshift-serverless/
34. おまけ
35. おまけ
36. おまけ • 30 分で試せるハンズオンでできる構成
37. 参考 • Amazon Redshift サーバーレス • https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/working-with-serverless.html • Amazon Redshift の料金 • https://aws.amazon.com/jp/redshift/pricing/ • 第二十回 ちょっぴりDD -Redshift Serverless で今から始めるサーバレスデータ分析環境 • https://www.youtube.com/watch?v=8ydlnbIg-MA • https://pages.awscloud.com/rs/112-TZM- 766/images/20220728_20th_ISV_DiveDeepSeminar_Redshift_Serverless.pdf • [AWS Black Belt Online Seminar] Next Generation Redshift • https://pages.awscloud.com/rs/112-TZM- 766/images/20200218_AWS_BlackBelt_NextGenRedshift.pdf • Amazon Redshift Serverless の概要 • https://blog.serverworks.co.jp/amazon-redshift-serverless-overview
38. 余談
39. 余談 • redshift • 【名】 • 《天文》赤色移動、赤方偏移 • ◆通例、宇宙赤方偏移(cosmological redshift)を指す。 • 赤方偏移とは，主に天文学において、遠方の天体から到来する 電磁波の波⾧が、ドップラー効果によって⾧くなる（可視光で 言うと赤くなる）現象をいう。
40. 余談 赤方偏移（redshift） 青方偏移（blueshift） 高速で離れていく光源は赤く見えるようになっていく 高速で近づく光源は青く見えるようになっていく
41. 余談 • Stable Diffusion Demo • https://xn--huggingface-xm72a.co/spaces/stabilityai/stable-diffusion
42. ありがとうございました!