Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Redshift ServerlessとProvisioned Cluster のちょっとした違い
Search
ikeda-masashi
November 24, 2022
Technology
0
6.6k
Redshift ServerlessとProvisioned Cluster のちょっとした違い
https://finatext.connpass.com/event/264064/
こちらの登壇資料です。
ikeda-masashi
November 24, 2022
Tweet
Share
More Decks by ikeda-masashi
See All by ikeda-masashi
Redshiftを中心としたAWSでのデータ基盤
mashiike
0
250
運用の役立たないダッシュボードの作り方。
mashiike
3
1.1k
Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた!
mashiike
0
930
Warningアラートを放置しない!アラート駆動でログやメトリックを自動収集する仕組みによる恩恵
mashiike
6
4.2k
Prepalert ~Mackerelアラートにログや集計値を貼り付けてくれるトイル削減ツール~
mashiike
0
2k
人狼ゲームで考えるデータ基盤 〜データとはいったい・・・〜
mashiike
0
390
『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜
mashiike
2
5.3k
「北欧、暮らしの道具店」のデータ基盤の変遷
mashiike
1
3.5k
小規模ワークロードにおけるRedshift Serverlessのログの取り扱い
mashiike
0
650
Other Decks in Technology
See All in Technology
SQLAlchemy の select(User).where(User.id =="123") を理解してみる/sqlalchemy deep dive
3l4l5
3
330
Okta Identity Governanceで実現する最小権限の原則 / Implementing the Principle of Least Privilege with Okta Identity Governance
tatsumin39
0
170
AIとともに歩んでいくデザイナーの役割の変化
lycorptech_jp
PRO
0
860
Behind Postgres 18: The People, the Code, & the Invisible Work | Claire Giordano | PGConfEU 2025
clairegiordano
0
110
ローカルLLMとLINE Botの組み合わせ その2(EVO-X2でgpt-oss-120bを利用) / LINE DC Generative AI Meetup #7
you
PRO
1
150
AI時代、“平均値”ではいられない
uhyo
8
2.5k
ゼロコード計装導入後のカスタム計装でさらに可観測性を高めよう
sansantech
PRO
1
250
デザインとエンジニアリングの架け橋を目指す OPTiMのデザインシステム「nucleus」の軌跡と広げ方
optim
0
100
What's new in OpenShift 4.20
redhatlivestreaming
0
190
OSSで50の競合と戦うためにやったこと
yamadashy
3
970
Building a cloud native business on open source
lizrice
0
170
OpenTelemetry が拡げる Gemini CLI の可観測性
phaya72
2
2.2k
Featured
See All Featured
Designing for Performance
lara
610
69k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Product Roadmaps are Hard
iamctodd
PRO
55
11k
Documentation Writing (for coders)
carmenintech
75
5.1k
The Invisible Side of Design
smashingmag
302
51k
A designer walks into a library…
pauljervisheath
209
24k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
The Power of CSS Pseudo Elements
geoffreycrofte
80
6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
249
1.3M
Transcript
Redshift ServerlessとProvisioned Cluster のちょっとした違い 2022/11/24 DataOpsNight #3 19:25 ~ 池田将士
自己紹介 池田 将士 (@mashiike) 面白法人カヤック その他事業部 SREチーム所属 データエンジニア/サーバーサイドエンジニア 出身: 千葉県
趣味: オンラインゲームと食べ比べ、飲み比べ
会社紹介 鎌倉の地にて、主にWeb技術を用いて 人の印象に深く残るような面白コンテンツを作る会社 ゲームからWebサービス、ミュージアムetc… 様々なことに挑戦 ※幅広く挑戦しすぎて、 中の人も何の会社なのかよくわからないことも・・・
本日のアジェンダ • はじめに • ちょっとした違い その① ??? • ちょっとした違い その②
??? • まとめ • 広報活動
はじめに Amazon Redshift Serveless インスタンス管理を必要としない Amazon Redshift キャパシティプランニングの悩みから開放される・・・???
はじめに https://speakerdeck.com/jozono/bigdata-jaws-21-analytics-update?slide=16 BigData-JAWS #21 秋の夜長に語る AWS Analytics 最新アップデート より 実は、Provisionedとの
使い分けは大事。
はじめに 超大規模ではないので 移行して、コストを削減しよう。
はじめに と思った、そこのあなた!ちょっとまって! 実は、Redshift ServerlessとProvisioned Clusterの間には ちょっとした違いがあるんです!!! 今日は、そのちょっとした違いについて、2つ紹介します。
その① IAMによる一時認証
その① IAMによる一時認証 皆様、Redshiftの認証ってどうしてます? 昔ながらの、User名+Passwordで行ってますか? Password漏洩リスクを考えて、 以下の機能を使って一時認証情報を生成してませんか? https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/generating-user-credentials.html
その① IAMによる一時認証 Provisioned ClusterにおけるAWS IAMを用いた一時認証 redshiftのGetClusterCredentials APIを用いることで、 有効期限のある一時的なパスワードとユーザ名を取得することができ、 その一時的なパスワードとユーザー名を用いて Redshiftへログインすることが可能でした。
その① IAMによる一時認証 Serverless workgroupにおけるAWS IAMを用いた一時認証 Password長っ!!!?
その① IAMによる一時認証 DB user名 Provisioned Cluster Serverless workgroup ちょっとした違い API
redshift-serverless:GetCredentials redshift:GetClusterCredentials 認証後の ユーザー名 IAM: <IAM ユーザー名> IAMR: <IAM ロール名> IAM: <DB User名>
その① IAMによる一時認証 DB user名 Provisioned Cluster Serverless workgroup ちょっとした違い API
redshift-serverless:GetCredentials redshift:GetClusterCredentials 認証後の ユーザー名 IAM: <IAM ユーザー名> IAMR: <IAM ロール名> IAM: <DB User名> https://github.com/mashiike/redshift-credentials [余談] そのへんの切替が面倒だと思ったので、ツールを作っちゃいました。
その① IAMによる一時認証 DB user名 Provisioned Cluster Serverless workgroup ちょっとした違い API
redshift-serverless:GetCredentials redshift:GetClusterCredentials 認証後の ユーザー名 IAM: <IAM ユーザー名> IAMR: <IAM ロール名> IAM: <DB User名>
その① IAMによる一時認証 Redshift Servelessの認証系事始め ※管理用AWS IAM Role: KayacDeveloperで AsuumeRoleしているとする。 Query
Editor V2でadminとして認証する。
その① IAMによる一時認証 Redshift Servelessの認証系事始め ※管理用AWS IAM Role: KayacDeveloperで AsuumeRoleしているとする。 Query
Editor V2でadminとして認証する。 以下のコマンドを発行する。
その① IAMによる一時認証 Redshift Servelessの認証系事始め ※管理用AWS IAM Role: KayacDeveloperで AsuumeRoleしているとする。 Query
Editor V2でadminとして認証する。 以下のコマンドを発行する。 その後、Federated Userに変えて、権限を確認する
その② システムビュー
その② システムビュー https://speakerdeck.com/jozono/bigdata-jaws-21-analytics-update?slide=14 BigData-JAWS #21 秋の夜長に語る AWS Analytics 最新アップデート より
実はRedshift Serverlessは 一部のシステムビューが 見れない
その② システムビュー システムビューといえば・・・ Copyが失敗したときに皆様見に行く ServerlessではPermission denied!!!
その② システムビュー えっ!?どうやって、ロード時のエラーを調べるの!? 別のシステムビューが用意されてる ※代替が無いものもある。
その② システムビュー えっ!?どうやって、ロード時のエラーを調べるの!? 別のシステムビューが用意されてる ※代替が無いものもある。 中には、STL_*やSVL_* を参照している関数もあるので、既存のものは一通り試しましょう ちなみに、この例は SVV_RELATION_PRIVILEGES を使用することで代用可能です。
その② システムビュー えっ!?どうやって、ロード時のエラーを調べるの!? 別のシステムビューが用意されてる ※代替が無いものもある。
その② システムビュー Provisioned Cluster Serverless workgroup Copy時のエラーチェック 発行されたクエリの確認 用途 SYS_LOAD_ERROR_DETAIL
STL_LOAD_ERRORS SYS_QUERY_HISTORY SYS_QIERY_DETAIL STL_QUERY STL_QUERYTEXT SYS_EXTERNAL_QUERY_DETAIL STL_UNLOAD_LOG SYS_UNLOAD_HISTORY UNLOADの状況確認 全く同じというわけではないが、運用時によく必要になるシステムビューの対応表
まとめ Redshift ServerlessとProvisioned Clusterは基本的な使用感はほぼ一緒です。 しかし、運用という観点ではちょっとした違いがいくつかあります。 今回はその中でも2つ • AWS IAMによる一時認証の方法の違い •
使用可能なシステムビューの違い を取り上げました。 Provisioned ClusterからServerlessにお乗り換えの際はご注意を! 最後に、Amazon Redshift Serverless 便利です!ぜひ使ってみてください。
広報活動 \カヤックに興味を持ってくださった方へ/ カヤック社員がどんな風に働いているか? どんな制作実績があるか? などの情報を定期的に配信しています! ニュースレターへ登録しませんか? https://hubspot.kayac.com/we_are_kayac
ありがとうございました!!!