Amazon Redshift の進化の歴史とこれから/redshift-evolution-2021

by jozono

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 4 過去の典型的なデータ分析アーキテクチャリレーショナルデータベースデータウェアハウスビジネスインテリジェンスデータソース収集・蓄積・分析活⽤ • 分析対象はリレーショナルデータベース上の構造化データ • これらをデータウェアハウスに集め BI ツールで分析・可視化 • 2012 年時点ではオンプレミス中⼼

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 6 Amazon Redshift の登場リレーショナルデータベース Amazon Redshift ビジネスインテリジェンスデータソース収集・蓄積・分析活⽤⾼速、スケーラブルで費⽤対効果の⾼いデータウェアハウスマネージドサービス ü ペタバイト級までスケールアウト ü PostgreSQL との互換性 ü 多数の周辺ソフトとの接続 ü 従来の DWH に⽐べて 1/10 未満の価格 (当時)

Slide 7

Slide 7 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 7 サービスローンチ時の Amazon Redshift アーキテクチャ Amazon Redshift JDBC/ODBC シェアードナッシング + MPP (Massively Parallel Processing) アーキテクチャデータを複数のコンピュートノードに分散させ、各ノードで並列処理することで分析クエリに対する処理スループットを向上させるアプローチリーダーノード • クエリのエンドポイント • SQL 処理コードの⽣成と展開コンピュートノード • ローカル列指向ストレージ • クエリの並列実⾏

Slide 8

Slide 8 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 8 Amazon Redshift JDBC/ODBC Amazon S3 ユーザーバケット COPY Unload Amazon S3 Redshift 管理バケット Backup Restore データはユーザー管理の S3 を経由してロード & アンロード⾃動バックアップ & リストアは Redshift サービスで管理する S3 領域を活⽤ユーザーデータサービスローンチ時の Amazon Redshift アーキテクチャ

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 10 データとその使われ⽅の変化 * IDC, Data Age 2025: The Evolution of Data to Life-Critical: Don’t Focus on Big Data, Focus on the Data That’s Big, April 2017. 想像を超えるデータ量より多様なデータアナリストビジネスユーザーアプリケーションデータサイエンティストより多くのユーザーやアプリケーションがデータにアクセスする機械学習 SQL分析科学技術計算リアルタイムストリーミングそれぞれ異なる⽅法で分析する

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 12 データレイクアーキテクチャデータレイクストリームデータ /イベントログ NoSQL データベースリレーショナルデータベースデータウェアハウスビッグデータ処理ログ検索機械学習ビジネスインテリジェンスビジネスアプリケーションデータソース活⽤分析収集・蓄積 … … 想像を超えるデータ量より多様なデータを取り扱いやすくするためにデータレイクという考え⽅が⽣まれた

Slide 13

Slide 13 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 13 データレイクアーキテクチャデータレイクストリームデータ /イベントログ NoSQL データベースリレーショナルデータベースデータウェアハウスビッグデータ処理ログ検索機械学習ビジネスインテリジェンスビジネスアプリケーションデータソース活⽤分析収集・蓄積 … … より多くのユーザーやアプリケーションがデータにアクセスするそれぞれ異なる⽅法で分析するデータウェアハウスおよびその他のデータストア上のデータを多様な⽬的で活⽤

Slide 14

Slide 14 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 14 データウェアハウスとデータレイクの連携ストリームデータ /イベントログ NoSQL データベースリレーショナルデータベースビッグデータ処理ログ検索機械学習ビジネスインテリジェンスビジネスアプリケーション … … Amazon S3 データソース活⽤分析収集・蓄積 Amazon Redshift すべてのデータをデータウェアハウス(Redshift) に格納するのは難しくなってきた⼀部のデータをデータレイク(S3) に置いたままクエリすることができればコストを抑えながらこれまで以上に多くのデータを分析できる

Slide 15

Slide 15 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 15 Redshift Spectrum でアーキテクチャをデータレイクに拡張 Amazon Redshift JDBC/ODBC オープンフォーマットファイル (Parquet, ORC, JSON, CSV etc) アプリケーションは、データウェアハウスとデータレイクの双⽅のデータに透過的にアクセスできる Amazon Redshift Spectrum • S3 上のファイルに対する並列クエリ実⾏エンジンデータレイク • ユーザー管理 S3 バケット

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 17 頭を悩ませる並列ワークロードの課題ストリームデータ /イベントログ NoSQL データベースリレーショナルデータベースビッグデータ処理ログ検索機械学習ビジネスインテリジェンスビジネスアプリケーション … … Amazon S3 データソース活⽤分析収集・蓄積 Amazon Redshift データウェアハウスを利⽤するユーザーやアプリケーションは増えるアクセスが集中するとクラスター全体のスループットが低下する可能性がある例: 毎週⽉曜 9:00~ 出社時に多くのユーザーが⼀⻫に売上実績を確認するといったケース

Slide 18

Slide 18 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 18 ピーク時にコンピュートを⾃動拡張する Concurrency Scaling Amazon Redshift 追加クラスター(1~10) メインクラスターディスパッチ + + + Redshift にクエリが集中してクエリをさばくためのリソースが⾜りなくなった場合、裏で⾃動的に別のクラスターを⽴ち上げ、処理を待たせずに実⾏してくれる 1⽇1時間は無償で使える上に、無償枠を超えないよう利⽤キャップもかけられる

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 20 活⽤データソース収集・蓄積 Amazon S3 Redshift のスケールアウトにおける課題ストリームデータ /イベントログ NoSQL データベースリレーショナルデータベースビッグデータ処理ログ検索機械学習ビジネスインテリジェンスビジネスアプリケーション … … 分析 Amazon Redshift Redshift 上のデータ増に伴いストレージ領域を追加したい場合クラスターリサイズにより、ノード(とストレージのセット)を追加することになる当時の Redshift のアーキテクチャでは、ストレージとコンピュートを別々にスケールすることができなかった

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 22 ストレージとコンピュートの分離 (RA3インスタンス) Amazon Redshift JDBC/ODBC リーダーノード • クエリのエンドポイント • SQL 処理コードの⽣成と展開コンピュートノード • ⾼速ローカル SSD キャッシュ＋⼤容量 RAM 搭載＋広帯域ネットワーキング • クエリの並列実⾏広帯域ネットワーキングマネージドストレージ • Redshift 管理 S3 バケット Redshift フォーマットファイル最新の Nitro ⾼性能ハードウェア利⽤できるストレージ容量が⼤幅に拡張され、⾃動でスケール頻繁にアクセスされるデータについては⾃動的にコンピュートノードにキャッシュ

Slide 23

Slide 23 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 23 活⽤データウェアハウスと業務データベースの連携ストリームデータ /イベントログ NoSQL データベース Amazon Aurora / RDS ビッグデータ処理ログ検索機械学習ビジネスインテリジェンスビジネスアプリケーション … … データソース分析収集・蓄積 Amazon Redshift すべてのデータがリアルタイムにデータレイクやデータウェアハウスに連携されている訳ではないので、業務データベース上の最新のデータに直接クエリすることができれば、さらに分析の幅が広がる Amazon S3

Slide 24

Slide 24 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 24 Amazon Redshift Federated Query データウェアハウス、データレイク、業務データベースにまたがったデータを統合して分析 Amazon RDS PostgreSQL, MySQL Amazon Aurora PostgreSQL, MySQL Amazon S3 Data lake Amazon Redshift JDBC / ODBC データ移動なしに最新のデータを分析 Amazon Redshift から Amazon RDS/Aurora PostgreSQL 上のデータに直接クエリすることが可能セキュアで⾼パフォーマンスなデータアクセス Amazon RDS/Aurora MySQL は 2021/5/3 現在プレビューでのサポート

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 26 活⽤データソース収集・蓄積 Amazon S3 複数クラスター間でのデータ共有ストリームデータ /イベントログ NoSQL データベースリレーショナルデータベース機械学習ビジネスインテリジェンスビジネスアプリケーション … … 分析 Amazon Redshift さまざまな理由で Redshift クラスターが複数必要になる場合がある • ワークロードを完全に分けたい • 管理する部⾨が異なる • 本番⽤、開発⽤などの環境分離これらのクラスター間でデータを共有するにはクラスターからクラスターへデータを転送する必要があった Amazon Redshift Amazon Redshift

Slide 27

Slide 27 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 27 Amazon Redshift Data Sharing Redshift クラスター間でセキュアに簡単にデータを共有することが可能プロデューサークラスターコンピュートノードコンピュートノードコンピュートノードコンピュートノードリーダーノードコンシューマークラスターコンピュートノードコンピュートノードコンピュートノードリーダーノードコンピュートノードコンピュートノード Amazon Redshift マネージドストレージ共有データの読み込みプライベートデータの読み込みと書き込み • プロデューサークラスターが書き込んだ共有データを、データの移動なしにコンシューマークラスターに read only で共有することが可能 • アクセス権の管理と共有状況の監査により、セキュアなデータ共有を実現 RA3 インスタンス RA3 インスタンス

Slide 28

Slide 28 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 28 Redshift ⾃動パフォーマンスチューニング機械学習ベースの⾃動最適化により、メンテナンスフリーに特別な設定なくノンチューニングで⾼速なクエリパフォーマンスを提供テーブルにはソートキーや分散キーを設定・設計する必要はなく、Redshift が⾃動で最適な物理配置をしてくれる Vacuum, 統計情報更新、ワークロード管理といったタスクは Redshift が⾃動で⾏ってくれる⼿動で設計・管理する選択肢も提供 Automatic sort keys Automatic vacuum delete Automatic distribution keys Auto workload manager Automatic table sort MV auto-refresh and rewrite

Slide 29

Slide 29 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 29 頻繁に実⾏するクエリパターンを⾼速化する物理ビュー • 結合、フィルタ、集計、射影 • ベーステーブルとは異なるキーの指定が可能 • 外部表の参照も可能ベーステーブルが更新されると、関連する Materialized View も⾃動でリフレッシュされるユーザーは Materialized View を意識する必要なし • ただテーブルに対してクエリすればよい • Redshift が必要に応じて実⾏計画を書き換えてクエリに最適な Materialized View を参照する実⽤的な Materialized View item store custprice i1 s1 c1 12.0 i2 s2 c1 3.0 i3 s2 c2 7.0 sales store owner loc s1 Joe SF s2 Ann NY s3 Lisa SF store_info loc total_sales SF 12.00 NY 10.00 loc_sales

Slide 30

Slide 30 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 30 Amazon Redshift 進化の歴史 2012 2017 Redshift Spectrum 2019 Concurrency Scaling 2020 RA3, Federated Query 2021 Data Sharing, Auto-tuning Redshift 発表 Future

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 32 AQUA (Advanced Query Accelerator) 新たな分散型ハードウェアアクセラレーション処理レイヤにより、追加コストなしに他のクラウドデータウェアハウスの10倍の性能を実現コンピュートノードコンピュートノードコンピュートノードコンピュートノード AQUA ノード AWSデザインのカスタムプロセッサ AQUA ノード AWSデザインのカスタムプロセッサ AQUA ノード AWSデザインのカスタムプロセッサ AQUA ノード AWSデザインのカスタムプロセッサ並列処理 AQUA ノードに処理をプッシュダウンすることでコンピュートノードとマネージドストレージの間のデータ移動を最⼩化 AQUA ノードは AWS がデザインした分析処理向けのカスタムプロセッサを備え、データの圧縮、暗号化、フィルタリングや集計の処理を従来の CPU よりも遥かに⾼速に処理 ra3.16xlarge / ra3.4xlarge のみで追加コスト不要で利⽤可能。現⾏の Redshift の SQL やその他オペレーションは変更する必要なくそのまま利⽤が可能 2021/04 に GA, 東京リージョンでも使⽤可能 Redshift マネージドストレージスケールアウト 2021/04 G A

Slide 33

Slide 33 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 33 SUPER データ型半構造化データをスキーマ指定なしにテーブルに取り込み、クエリ可能ネイティブに半構造化データをサポートする SUPER データ型ネストされた JSON データの取り込みが従来のようにフラット化して取り込むよりも最⼤で 5 倍⾼速に SUPER 型のデータを Materialized View 化することによる⾼速な分析も容易直感的にわかりやすい SQL でスキーマレスなネストデータへの分析をかんたんに⾏えるように SELECT name.given AS firstname, ph.num FROM customers c, c.phones ph WHERE ph.type = ’cell’; firstname | num ----------+--------------- "Jane" | 6505550101 id INTEGER name SUPER phones SUPER 1 {"given":"Jane", "family":"Doe"} [{"type":"work", "num":"9255550100"}, {"type":"cell", "num": 6505550101} ] 2 {"given":„Richard", "family":„Roe"}, [{"type":"work", "num": 5105550102}] 2021/04 G A

Slide 34

Slide 34 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 34 Amazon Redshift ML SQL 経由で Amazon SageMaker と連携し、機械学習モデルの作成・トレーニングが可能に 2021/05 G A CREATE MODEL demo_ml.customer_churn FROM (SELECT c.age, c.zip, c.monthly_spend, c.monthly_cases, c.active FROM customer_info_table c) TARGET c.active; ユースケース : 製品のリコメンデーション、不正防⽌、顧客離反の削減など SQL で機械学習モデルの作成、トレーニング、デプロイ推論モデルを Amazon Redshift 上にデプロイし SQL ステートメントの⼀部としてユーザー定義関数を呼び出すように推論を実⾏可能機械学習アルゴリズムは⾃動選択または XGBoost を指定可能モデルの前処理、作成、トレーニング、デプロイを⾃動で実⾏

Slide 35

Slide 35 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 35 Data Sharing for Data Lake Redshift 上のデータを他の AWS サービスからアクセス可能に Com ing soon Amazon Redshift のマネージドストレージ上のデータを AWS Lake Formation カタログで共有 Amazon EMR, Amazon Athena, Amazon SageMaker といったサービスから Amazon Redshift 上のトランザクショナルな⼀貫性あるデータに対して直接アクセスすることが可能 SQL, API によるデータアクセス Amazon Redshift クラスターを起動することなくデータにアクセス可能に Amazon Redshift Amazon Athena Amazon SageMaker Amazon EMR AWS Lake Formation

Slide 36

Slide 36 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 36 AWS Glue Elastic Views 複数のデータストア間でデータを簡単に組み合わせて複製慣れ親しんだ SQL を使⽤して様々なデータベース上のデータをまたいだマテリアライズドビューを作成 RDS Aurora DynamoDB Amazon S3 Amazon Redshift Amazon Elasticsearch Service RDS Aurora DynamoDB AWS Glue Elastic Views マテリアライズドビュー複数のターゲットの最新データのビューにアクセスカスタムコーディングなしにデータを複製し結合してつなげることが容易にサーバーレスであり、ワークロードに対応するために容量を⾃動的にスケールアップ/ダウンソースデータベースの変更を継続的に監視し数秒以内にターゲットを更新申込型 Preview

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© 2021, Amazon Web Services, Inc. or its Affiliates. 38 What’s the next? Amazon Kinesis Amazon DynamoDB Amazon Aurora / RDS Amazon SageMaker Amazon QuickSight Amazon Redshift Amazon S3 Amazon Redshift Amazon Redshift ML (Preview) Federated Query Data Sharing Data Sharing (Coming soon) Spectrum Spectrum AWS Elastic Views (Preview) Amazon EMR Amazon Athena Amazon SageMaker Concurrency Scaling …