20221006_JAWS-UG 朝会#38 での発表スライドです。 redshift • 【名】 • 《天文》赤色移動、赤方偏移 赤方偏移とは、主に天文学において、遠方の天体から到来する電磁波の波⾧がドップラー効果によって⾧くなる（可視光で言うと赤くなる）現象をいう
2022/10/6(木) JAWS-UG 朝会 #38
View Slide
目次• Amazon Redshift Serverless とは• Amazon Redshift Serverless のコンポーネント• Amazon Redshift Serverless の特徴• Amazon Redshift Serverless の料金• 従来の Redshift クラスターと Redshift Serverless の比較• 考慮事項• まとめ• おまけ• 余談
Amazon RedshiftServerless とは
従来の Redshift について• Amazon Redshift（RA3 インスタンス）⇒ クラスター構成• クラスターは主に以下3つの要素で構成• リーダーノード• コンピュートノード• マネージドストレージ
Amazon Redshift Serverless とは• ノード部分の綿密なキャパシティプランニング不要• 分析のためのクエリ実行時に自動でプロビジョニング・スケール• クラスターという概念がなくなった• 「名前空間」「ワークグループ」というコンポーネントで管理
Amazon RedshiftServerless のコンポーネント「名前空間」と「ワークグループ」
Amazon Redshift Serverless のコンポーネント• 名前空間• データベースオブジェクト・ユーザーなどの集まりhttps://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/serverless-workgroup-namespace.html• データベース名とデータベース管理者パスワード• IAM ロールによる許可の設定• データの暗号化とセキュリティ• KMS キーの指定や監査ログの有無
Amazon Redshift Serverless のコンポーネント• ワークグループ• コンピューティングリソースのあつまり• ネットワーク• セキュリティ• セキュリティグループ、拡張 VPC ルーティング、パブリックアクセスの許可等• Redshift 処理ユニット (RPU) のベース容量• 使用制限• Redshift 処理ユニット (RPU) の最大値• クロスリージョンデータ共有• クエリ制限• クエリ実行タイムアウト:0～86,399 秒の範囲で指定
Amazon Redshift Serverless のコンポーネント• 名前空間とワークグループの関連付けは 1対1
Amazon RedshiftServerless の特徴
Amazon Redshift Serverless の特徴• クラスターの管理不要• 自動スケール• ワークロードの処理に使用されるRedshift 処理ユニット（RPU: Redshift Processing Unit） という単位でベース容量を設定しておく• 1 RPU = 16 GiB メモリ• 範囲は 8 刻みの 32～512 RPU まで• デフォルトで 128 RPU
Amazon Redshift Serverless の特徴範囲は 8 刻みの32～512 RPU まで
Amazon Redshift Serverless の特徴• 使用制限• リソース使用量を制限するしきい値を設定• Redshift 処理ユニット (RPU) の最大数• クロスリージョンデータ共有の使用制限• 制限に達した際のアクションを以下から指定でき、想定以上のコスト発生を抑制• アラート発報• システムテーブルにログを書き込む• ユーザークエリを無効にするクエリの制限• クエリの実行タイムアウト時間• 0～86,399 秒の範囲を設定できる
Amazon Redshift Serverless の特徴Redshift 処理ユニット(RPU) の最大数クロスリージョンデータ共有の使用制限
Amazon Redshift Serverless の特徴クエリ実行タイムアウト0～86,399 秒の範囲で指定デフォルト 14,400 秒
Amazon Redshift Serverless の特徴• 従来の Redshift Provisioned の機能・性能はそのまま• 従来の Redshift で使えた機能、データレイクとの統合、パフォーマンスはそのまま• Redshift Serverless で作成したスナップショットをRedshift クラスターに復元することも可能
Amazon RedshiftServerless の料金
Amazon Redshift Serverless の料金東京リージョンでの価格（2022/10/05時点）コンピュートの請求 1 RPU 時間あたり 0.494 USDストレージの請求 GB 月あたり 0.0261 USD• コンピュートの請求• RPU 時間に対し秒単位で課金、アイドル時間の料金はかからない• 同時実行スケーリング・Redshift Spectrum の料金は Redshift Serverless の料金に含まれている• ストレージの請求• Redshift マネージドストレージ（RMS）とスナップショットに対してGB / 月単位で請求• 過去 30 分単位で 24 時間以内の特定のポイントには無料で復元できる
Amazon Redshift Serverless の料金• 無料利用枠• 90 日間で 300 USD までの無料トライアル
Amazon Redshift Serverless の料金AWS Pricing Calculator では明示的にRedshift Serverless を選択して見積もるような画面がなさそう??
従来の Redshift クラスターとRedshift Serverless の比較
従来の Redshift クラスターとRedshift Serverless の比較従来の Redshift クラスター Redshift Serverless分析規模 • 予測可能（中～超大規模）• 最大インスタンスタイプ:ra3.16xlarge、128 ノード• 低頻度、予測不能（小～大規模）• 最大 512 RPU基盤管理 クラスターのプロビジョニングとチューニングが必要 自動費用 • クラスタ稼働時間• Redshift マネージドストレージ料金• Redshift Spectrum でのクエリスキャン• 分析実行時間• Redshift マネージドストレージ料金
従来の Redshift クラスターとRedshift Serverless の比較• 従来の Redshift クラスターが適しているケース• 本番環境• 常にクエリが実行されている• 稼働時間や処理能力の予測が可能• 安定した性能が求められる• Redshift Serverless が適しているケース• 開発環境• クエリが実行されない時間帯が比較的⾧い• パフォーマンスチューニングなどの知見がある管理者がいない「一旦試したい」みたいなケースは Serverless がいいかも!
考慮事項
考慮事項• 3 つのアベイラビリティゾーンに配置された3 つのサブネットが必要
考慮事項• Redshift Serverless ではメンテナンスウィンドウは使用できない• ソフトウェアバージョンの更新は自動的に適用• バージョンが変わっても既存の接続やクエリの実行は中断されない• Redshift Serverless ではAQUA（Advanced Query Accelerator）がサポートされていない
考慮事項• 小さいサブネットで RPU が大きい Redshift Serverless を作成しようとするとエラーになることがあるRedshiftServerless のRPU/28 /27 /26 /25 /2432~72 × ○ ○ ○ ○~176 × × ○ ○ ○~384 × × × ○ ○~512 × × × × ○20220920 時点の検証結果
考慮事項• 小さいサブネットで RPU が大きい Redshift Serverless を作成しようとするとエラーになることがあるRedshiftServerless のRPU/28 /27 /26 /25 /2432~72 × ○ ○ ○ ○~176 × × ○ ○ ○~384 × × × ○ ○~512 × × × × ○20220920 時点の検証結果昨日試したら /27 のサブネット×3、初期ベース要領 RPU = 80で作成できたので、厳密にはもっと違う法則があるのかもしれません
まとめ
まとめ• Amazon Redshift Serverless とは• ノード部分の綿密なキャパシティプランニングが不要• 分析のためのクエリ実行時に自動でプロビジョニング・スケールしてくれる• Amazon Redshift Serverless のコンポーネント• 「名前空間」と「ワークグループ」• Amazon Redshift Serverless の特徴• クラスターの管理不要• 自動スケール• 使用制限• Amazon Redshift Serverless の料金• アイドル時間は料金不要• 従来の Redshift クラスターと Redshift Serverless の比較• クエリが実行されない時間帯が比較的⾧い、予測がつきにくい場合は Redshift Serverless• 考慮事項• 3 つのアベイラビリティゾーンに配置された 3 つのサブネットが必要
おまけ
おまけ2022/10/5Amazon Redshift Serverless がリソースのタグ付けをサポートするようになりましたhttps://aws.amazon.com/about-aws/whats-new/2022/10/amazon-redshift-serverless-supports-resource-tagging/
おまけ• 30 分で試せる!Amazon Redshift Serverless データ分析ハンズオンhttps://aws.amazon.com/jp/redshift/redshift-serverless/
おまけ• 30 分で試せるハンズオンでできる構成
参考• Amazon Redshift サーバーレス• https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/working-with-serverless.html• Amazon Redshift の料金• https://aws.amazon.com/jp/redshift/pricing/• 第二十回 ちょっぴりDD -Redshift Serverless で今から始めるサーバレスデータ分析環境• https://www.youtube.com/watch?v=8ydlnbIg-MA• https://pages.awscloud.com/rs/112-TZM-766/images/20220728_20th_ISV_DiveDeepSeminar_Redshift_Serverless.pdf• [AWS Black Belt Online Seminar] Next Generation Redshift• https://pages.awscloud.com/rs/112-TZM-766/images/20200218_AWS_BlackBelt_NextGenRedshift.pdf• Amazon Redshift Serverless の概要• https://blog.serverworks.co.jp/amazon-redshift-serverless-overview
余談
余談• redshift• 【名】• 《天文》赤色移動、赤方偏移• ◆通例、宇宙赤方偏移(cosmological redshift)を指す。• 赤方偏移とは，主に天文学において、遠方の天体から到来する電磁波の波⾧が、ドップラー効果によって⾧くなる（可視光で言うと赤くなる）現象をいう。
余談赤方偏移（redshift）青方偏移（blueshift）高速で離れていく光源は赤く見えるようになっていく高速で近づく光源は青く見えるようになっていく
余談• Stable Diffusion Demo• https://xn--huggingface-xm72a.co/spaces/stabilityai/stable-diffusion
ありがとうございました!
emiki
forcia_dev_pr
weblyzard
trycycle
k9i
hato3isfriend
tacck
interu
oracle4engineer
nabedge
soracom
okuzawats
jeffersonlam
trallard
destraynor
zakiwarfel
holman
brettharned
moore
orderedlist
shpigford
pauljervisheath
brad_frost
garrettdimon